F値 (評価指標)

適合率と再現率

Fスコア（F-score、F尺度 F-measure とも）は、二項分類の統計分析において、テストの精度（系統誤差の小ささ）を示す指標である。テストの適合率 precision と再現率 recall とから計算される。適合率は、真陽性の数をすべての陽性結果の数（真陽性の数＋偽陽性の数）で除したものであり、陽性適中率 positive predictive value とも呼ばれる。再現率は、真陽性の数を、陽性と識別されるべきだった標本数（真陽性の数＋偽陰性の数）で除したものであり、感度 sensitivity とも呼ばれる。

F₁スコアは、適合率と再現率との調和平均である。より一般的な$F_{\beta }$スコアは適合率と再現率の加重調和平均であり、いずれかを優先する。

Fスコアは 0〜1 の値を取る。1 は適合率と再現率が完璧（ともに 1）であることを、0 は適合率の再現率のいずれかがゼロの場合であることを、それぞれ示す。

言葉の由来

Fスコアという名前は、第4回メッセージ理解会議（MUC-4, 1992）で紹介されたとき、Van Rijsbergen 氏の著書に記載されていた別のF関数にちなんで名付けられたとされている 。

定義

従来の FスコアまたはバランスFスコア（ F₁スコア）は、適合率と再現率との調和平均である。

$F_{1}={\frac {2}{\mathrm {recall^{-1}} +\mathrm {precision^{-1}} }}=2\cdot {\frac {\mathrm {precision} \cdot \mathrm {recall} }{\mathrm {precision} +\mathrm {recall} }}={\frac {\mathrm {tp} }{\mathrm {tp} +{\frac {1}{2}}(\mathrm {fp} +\mathrm {fn} )}}$

$F_{1}={\frac {2}{\mathrm {recall^{-1}} +\mathrm {precision^{-1}} }}=2\cdot {\frac {\mathrm {precision} \cdot \mathrm {recall} }{\mathrm {precision} +\mathrm {recall} }}={\frac {\mathrm {tp} }{\mathrm {tp} +{\frac {1}{2}}(\mathrm {fp} +\mathrm {fn} )}}$

$F_{1}={\frac {2}{\mathrm {recall^{-1}} +\mathrm {precision^{-1}} }}=2\cdot {\frac {\mathrm {precision} \cdot \mathrm {recall} }{\mathrm {precision} +\mathrm {recall} }}={\frac {\mathrm {tp} }{\mathrm {tp} +{\frac {1}{2}}(\mathrm {fp} +\mathrm {fn} )}}$

$F_{\beta }$

より一般的なFスコアである $F_{\beta }$では、正の係数βを用いており、再現率 recall が適合度 precision のβ倍重要であるとみなされる。

$F_{\beta }=(1+\beta ^{2})\cdot {\frac {\mathrm {precision} \cdot \mathrm {recall} }{(\beta ^{2}\cdot \mathrm {precision} )+\mathrm {recall} }}$$F_{\beta }=(1+\beta ^{2})\cdot {\frac {\mathrm {precision} \cdot \mathrm {recall} }{(\beta ^{2}\cdot \mathrm {precision} )+\mathrm {recall} }}$

$F_{\beta }=(1+\beta ^{2})\cdot {\frac {\mathrm {precision} \cdot \mathrm {recall} }{(\beta ^{2}\cdot \mathrm {precision} )+\mathrm {recall} }}$$F_{\beta }=(1+\beta ^{2})\cdot {\frac {\mathrm {precision} \cdot \mathrm {recall} }{(\beta ^{2}\cdot \mathrm {precision} )+\mathrm {recall} }}$

第一種過誤と第二種過誤に関しては、これは次のようになる。

$F_{\beta }={\frac {(1+\beta ^{2})\cdot \mathrm {true\ positive} }{(1+\beta ^{2})\cdot \mathrm {true\ positive} +\beta ^{2}\cdot \mathrm {false\ negative} +\mathrm {false\ positive} }}\,$ 。

βとしては2および0.5を用いることが多く、2を用いる場合には再現率 recall を、0.5 を用いる場合には 適合度 precision を重要視する。

Van Rijsbergenの有効性尺度に基づいている。

$E=1-\left({\frac {\alpha }{p}}+{\frac {1-\alpha }{r}}\right)^{-1}$ 。

$F_{\beta }=1-E$ ただし、$\alpha ={\frac {1}{1+\beta ^{2}}}$

診断テスト

これは二項分類の分野に関連しており、再現率 recall はしばしば感度 sensitivity と呼ばれる。Template:DiagnosticTesting Diagram

応用

Fスコアは、情報検索の分野で、検索、文書分類、クエリ分類の性能を測定するためよく使われる。初期の研究では主に F₁ スコアに注目していたが、大規模な検索エンジンの普及に伴い、パフォーマンスの目標が適合度 precision や再現率 recall のいずれかに重点を置くようになったため、$F_{\beta }$ が広く使われるようになった。

Fスコアは機械学習でも使用される。しかし、Fスコアは真陰性を考慮しないため、バイナリ分類器の性能を評価するには、マシューズ相関係数、インフォームドネス、コーエンのカッパなどの尺度が好ましいかもしれない。

Fスコアは、固有表現抽出やセグメンテーションの評価など、自然言語処理の文献広く使用されている。

批判

デビッド・ハンド氏らは、F1スコアは精度と再現率を同等に重視していることから批判している。実際には、誤分類の種類が異なれば、コストも異なる。適合率と再現率の相対的な重要性が問題となる。

Davide Chicco と Giuseppe Jurman によると、F₁スコアは、バイナリ評価分類のマシューズ相関係数よりも真実性と情報量が少ないとのこと。

David Powersは、F₁が真陰性を無視するため、不均衡なクラスでは誤解を招くとを指摘している。

Fowlkes–Mallows インデックスとの違い

F-尺度は再現率と適合率の調和平均だが、 Fowlkes–Mallows インデックスはそれらの幾何平均である 。

多クラス分類への拡張

Fスコアは、3つ以上のクラスの分類問題（多クラス分類）の評価にも用いられる。この設定では、最終的なスコアは、ミクロ平均（クラスの頻度によるバイアスがある）またはマクロ平均（すべてのクラスを同等に重要視する）によって得られる。マクロ平均では、2つの異なる計算式が使用される。すなわち、クラスごとの適合率と再現率の平均に基づくFスコア、ないしクラスごとのFスコアの平均ある。後者の方がより望ましい特性を示す。

関連項目

• 受信者動作特性