tf-idf

tf-idfは、文書中に含まれる単語の重要度を評価する手法の1つであり、主に情報検索やトピック分析などの分野で用いられている。

tf-idfは、tf（英: Term Frequency、単語の出現頻度）とidf（英: Inverse Document Frequency、逆文書頻度）の二つの指標に基づいて計算される。

$\mathrm {tfidf_{i,j}} =\mathrm {tf_{i,j}} \cdot \mathrm {idf_{i}}$

$\mathrm {tf_{i,j}} ={\frac {n_{i,j}}{\sum _{k}n_{k,j}}}$

$\mathrm {idf_{i}} =\log {\frac {|D|}{|\{d:d\ni t_{i}\}|}}$

$n_{i,j}$ は文書 $d_{j}$ における単語 $t_{i}$ の出現回数、 ${\sum _{k}n_{k,j}}$ は文書 $d_{j}$ におけるすべての単語の出現回数の和、 $|D|$ は総文書数、 $|\{d:d\ni t_{i}\}|$ は単語 $t_{i}$ を含む文書数である。そのため、idfは一種の一般語フィルタとして働き、多くの文書に出現する語（一般的な語）は重要度が下がり、特定の文書にしか出現しない単語の重要度を上げる役割を果たす。

関連項目