宇同學(xué)
2024-01-22 16:04Q2中講的TF-IDF，TF是不是在所有的分析都是指該詞在文章中出現(xiàn)的頻率？
所屬：CFA Level II > Quantitative Methods 視頻位置 相關(guān)試題
來(lái)源： 視頻位置 相關(guān)試題
1個(gè)回答
Huang助教
2024-01-23 16:21
該回答已被題主采納
同學(xué)你好，
是的，Term Frequency（TF）通常指的是在給定文檔或文章中某個(gè)詞出現(xiàn)的頻率。
TF-IDF結(jié)合了詞頻（TF）和逆文檔頻率（IDF）兩個(gè)方面，TF衡量了一個(gè)詞在當(dāng)前文檔中的重要性，而IDF衡量了一個(gè)詞在整個(gè)文檔集合中的稀有程度。
-
追答
同學(xué)你好，
Term Frequency（TF），可以在不同層次進(jìn)行考量：
語(yǔ)料庫(kù)級(jí)別的 TF（(collection frequency, CF)）:用于衡量某個(gè)詞在整個(gè)語(yǔ)料庫(kù)（一系列文檔）中出現(xiàn)的頻率。
CF=詞在整個(gè)語(yǔ)料庫(kù)中出現(xiàn)的次數(shù)/語(yǔ)料庫(kù)中的總詞數(shù)
句子級(jí)別的 TF：衡量某個(gè)詞在具體句子中出現(xiàn)的頻率，揭示該詞在句子中的相對(duì)重要性。
句子級(jí)別的TF=詞在句子中出現(xiàn)的次數(shù)/句子中的總詞數(shù)
TF-IDF = TF × IDF
TF：詞在文檔中的詞頻。
IDF：詞在整個(gè)語(yǔ)料庫(kù) 中的逆文檔頻率。
解釋:
TF成分：衡量了一個(gè)詞在特定文檔中的出現(xiàn)頻率。
IDF成分:反映了一個(gè)詞在整個(gè)語(yǔ)料庫(kù)中的稀有程度。在許多文檔中普遍出現(xiàn)的詞會(huì)得到較低的IDF分?jǐn)?shù)，而在整個(gè)語(yǔ)料庫(kù)中較為罕見(jiàn)的詞會(huì)得到較高的IDF分?jǐn)?shù)。
綜合：TF-IDF 對(duì)既在文檔中頻繁出現(xiàn)又在整個(gè)語(yǔ)料庫(kù)中相對(duì)獨(dú)特的詞賦予更高的權(quán)重，有助于識(shí)別關(guān)鍵詞，這些關(guān)鍵詞既反映了文檔內(nèi)容，又在整個(gè)語(yǔ)料庫(kù)中相對(duì)獨(dú)特。
0
0
0
0
