項目応答理論

項目応答理論（こうもくおうとうりろん、英:tem response theory; item latent theory、略:IRT）または項目反応理論（こうもくはんのうりろん）は、能力、態度、またはその他の変数を測定するテスト、アンケート、および同様の測定機器の設計、分析、および採点のための理論である。

テスト項目群への応答に基づいて、被験者の特性（認識能力、物理的能力、技術、知識、態度、人格特徴等）や、評価項目の難易度・識別力を測定するための試験理論である。この理論の主な特徴は、個人の能力値を測るだけでなく、項目（問題）の難易度・識別力・当て推量といった変数を、評価項目の正誤といった離散的な結果から確率論的に求める点である。

IRTでは、能力値や難易度のパラメータを推定し、データがモデルにどれくらい適合しているかを確かめ、評価項目の適切さを吟味することができる。従って、試験を開発・洗練させ、試験項目のストックを保守し、複数の試験の難易度を同等と見なす（例えば異なる時期に行われた試験の結果の比較をする）ためにIRTは有用である。また、コンピュータ適応型テスト (CAT:Computerized Adaptive Testing) もIRTによって可能になる。

より古典的テスト理論（正答率、素点方式、偏差値方式）と比べると、IRTは、試験者が評価項目の信頼性の改善に役に立つ情報を提供し得る、標本（受験者）依存性・テスト依存性にとらわれずに不変的に受験者の能力値とテスト項目の難易度を求められる、という利点がある。回答者が同意のレベル（評価尺度またはリッカート尺度）を示すことができるアンケートの記述や、有無として採点される患者の症状、あるいは複雑なシステムにおける診断情報などにも応用することができる。

IRTは、テストのデータへの数理モデルの適用に基づいている。古典的テスト理論と比較してより複雑なテスト状況を処理できるため、IRTはGraduate Record Examination（GRE）やGraduate Management Admission Test（GMAT）などの評価において用いられている手法である。

概要

例として、4択問題100問、配点が1問につき10点（1000点満点）で構成されるテストを考える。この場合、以下の問題が発生しうる。

• 全問完全にランダムに回答した場合でも、25問は正解（250点は獲得）することが期待される。このように、回答の際の運による要素を多分に含んでおり、実力を正しく測れない。
• 得られた点数から計れる受験者の能力は集団やテストの内容に依存する。
• 項目（問題）の特性と受験者の能力との関係は、項目（問題）ごとの正答率・素点だけでは評価できない。
• 得られた点数や平均点等の各値は、項目（問題）の難易度などの特性に依存する。そのため、出題される項目（問題）が違うテスト間において、得られた点数や平均点などを直接比較することはできない。
  このような、正答率や総得点による受験者の評価を、古典的テスト理論（Classical Test Theory）、あるいは素点方式という。

項目応答理論は、運による要素や評価の相対性といった性質をもつ古典的テスト理論の限界を解消し、より科学的な手法で受験者の実力をより正確に測ろうとする理論である。項目応答理論では、個々の項目（問題）に対して、正答率や配点では無く、後述する数学的な仮説やパラメータを用い、受験者の能力を推定する。

これにより、以下のメリットを得られる。

• 識別力が著しく低い問題の正誤は、受験者の能力を決めるのにほとんど影響を持たないため、実質的に能力の推定や集計対象から除外する事ができる。
• ある項目（問題）群が相互に関係しており、一定の能力があれば全問正解できるにもかかわらず、1問しか正解しなかった場合、その正解は当て推量であり、受験者の実力によるものではない結果であることを推定できる。
• 受験者の能力や項目（問題）の難易度を、テストの難易度や受験者の集団に依存する事なく、普遍的に推定できる。
• ある点数以上を取れば合格とする（実際の点数の多寡は関係ない）テストにおいて、その信頼性を担保できる。
• 同じ正答率・得点を得た受験者同士でも、能力値は違う結果になり、受験者の特性を評価できる。

コンピュータ適応型テストなどの一部のアプリケーションはIRTによって可能になり、古典的テスト理論のみを使用して適切に実行することはできない。CTTに対するIRTのもう1つの利点は、IRTが提供するより高度な情報により、研究者が評価の信頼性を向上できることである。

IRTには3つの前提が伴う。

1. ${\theta }$ で表される一次元的な特性。
2. 項目の局所独立性。
3. 個人の項目への応答は、数学的な「項目応答関数（IRF）」によってモデル化できる。

これらの特性はさらに尺度上で測定可能であると仮定されており（テストが存在すること自体がこれを仮定している）、通常は平均0.0、標準偏差1.0の標準尺度に設定される。一次元性は同質性、つまり測定可能な量としてではなく、与えられた目的や用途に関連して定義されるか実証的に証明されるべき質として解釈されるべきである。「局所独立性」とは、（a）ある項目が使用される確率が他のどの項目が使用されるかに関連していないこと、および（b）項目への応答が個々の受験者の独立した決定であること、つまりカンニングやペアまたはグループワークが存在しないことを意味する。次元性のトピックはしばしば因子分析で調査されるが、IRFはIRTの基本的な構成要素であり、多くの研究や文献の中心となっている。

歴史

項目応答関数の概念は1950年以前から存在していた。理論としてのIRTの先駆的な研究は、1950年代と1960年代に行われた。先駆者のうちの3人は、エデュケーショナル・テスティング・サービスの計量心理学者であるフレデリック・M・ロード、デンマークの数学者ゲオルク・ラッシュ、そしてオーストリアの社会学者ポール・ラザースフェルドであり、彼らは独立して並行して研究を進めていた。IRTの進歩をさらに推し進めた重要人物には、ベンジャミン・ドレイク・ライトとデビッド・アンドリッチが含まれる。IRTは、1970年代後半から1980年代になるまで広く使用されることはなかった。その時期に、一方で実務家たちにIRTの「有用性」と「利点」が伝えられ、他方でパーソナルコンピュータによって多くの研究者がIRTに必要な計算能力を利用できるようになったからである。1990年代にマーガレット・ウーは、PISAおよびTIMSSのデータを分析する2つの項目応答ソフトウェアプログラムであるACER ConQuest（1998年）とRパッケージのTAM（2010年）を開発した。

項目応答関数

IRFは、特定の能力レベルを持つ人が正答する確率を与える。能力の低い人が正答する可能性は低く、能力の高い人が正答する可能性は非常に高い。たとえば、数学の能力が高い学生は、数学の項目に正答する可能性が高くなる。確率の正確な値は、能力に加えて、IRFの「項目パラメータ」のセットに依存する。項目パラメータは、標準的なロジスティック関数の形状を変化させるものとして解釈できる。

${\theta }$：能力値

各受験者の特性の大きさを表す実数値。正答率や総得点とは違い、間隔尺度である。

$a_{i}$：識別力

項目（問題）iが受験者の能力を識別する力を表す実数値である。

$b_{i}$：難易度（困難度）

項目（問題）iの難しさを表す実数値。一般的には各項目に50％の正答率を持つ被験者の能力値${\theta }$である。

$c_{i}$：当て推量

項目（問題）iに受験者が偶然に正答できる確率を表す実数値である。

IRTでは、各項目（問題）に対し、受験者の能力値と、項目（問題）の正答率の関係を、ロジスティック曲線で表す。これを項目特性曲線という。例えば、あるテストにおいて、ある項目（問題）が被験者にとって非常に簡単であった場合、その正答率は限りなく1に近づき、逆にある項目（問題）が被験者にとって非常に難しいものであった場合、その正答率は限りなく0（パラメータcを用いる場合は$c_{i}$）に近づく。

1パラメータロジスティックモデル

最も簡単な1パラメータロジスティック (1PL) モデル（ラッシュモデルとも呼ばれる）では、変数に${\theta }$と$b_{i}$のみを用いる。しかし適用のための条件は厳しくなっている。このモデルでは、項目（問題）iに正答する確率は次の式で与えられる。

$p_{i}({\theta })={\frac {1}{1+e^{-({\theta }-b_{i})}}}$

2パラメータロジスティックモデル

2パラメータロジスティック(2PL)モデルでは、さらに$a_{i}$を用いる。$a_{i}$は、その項目（問題）への回答の正誤から、能力値の高低を識別する正確さを示している。このモデルでは、ある項目（問題）iに正答する確率は次の式で与えられる。　　

$p_{i}({\theta })={\frac {1}{1+e^{-Da_{i}({\theta }-b_{i})}}}$

ここで、定数Dは1.701という値で、ロジスティック関数を累積正規分布関数に近似するためのもので、確率が関数の定義域（一般的に-3 - 3）内で0.01以上異ならないようになっている。なお、IRTモデルは当初は普通の累積正規分布関数が用いられたが、このように近似されたロジスティックモデルを使うことで、大きく計算を単純化することができた。

3パラメータロジスティックモデル

図1：3PLのIRFの例。パラメータを示すために点線が重ねられている。

3パラメータロジスティック(3PL)モデルでは、多肢選択形式の場合において、適当に選択肢を選択しても偶然正答する確率$c_{i}$（当て推量ともいう）を考慮に入れ、項目iに正答する確率は次の式で与えられる。

$p_{i}({\theta })=c_{i}+{\frac {(1-c_{i})}{1+e^{-Da_{i}({\theta }-b_{i})}}}$

人パラメータは被験者の評価の対象となっている1次元的な特性の大きさを表す。この特性は因子分析の1つの因子に類似している。また、個々の項目や人は相互に独立であり、集合的に直交であると仮定されている。すなわち、ある項目の正誤は他の項目の正誤に影響せず、ある人の正誤は他の人の正誤に影響しないという仮定を置いている。

項目パラメータは、ある項目の性質を示す。項目パラメータが定まると、受験者がその項目に正答する確率$p_{i}$は各受験者の能力${\theta }$の1変数のみを持つ関数になり、縦軸に正答率、横軸に能力値としたグラフが描ける。このグラフは項目特性曲線 (ICC; item characteristic curve) と呼ばれる。パラメータbは項目の難しさであり、この値は人パラメータと同じスケール上にある。パラメータaは項目特性曲線の傾きを決定し、その項目が個人の特性の水準を識別する程度を示す。曲線の傾きが大きいほど、項目の難しさと人の特性の大きさに差があるときに回答の正誤がくっきり分かれることを示す。最後のパラメータcは、項目特性曲線の負の側の漸近線である。すなわち、これは非常に低い能力を持つ人がこの項目に偶然正答する確率を示す。図1は、理想的な3PLのICCを描画したものである。

3パラメータロジスティックモデルでは、パラメータは次のように解釈される（読みやすくするために添え字を省略している）。bが最も基本的であるため、最初にリストされている。

• b - $p(b)=(1+c)/2$ であり、$c_{i}$（最小）と1（最大）の中間点であり、傾きが最大になる場所でもある。
• a - 最大傾きは $p'(b)=a\cdot (1-c)/4$ となる。
• c - $p(-\infty )=c$ となる。

$c=0$ の場合、これらは $p(b)=1/2$ および $p'(b)=a/4$ に単純化される。

これは、bが50%の成功レベル（困難度）に等しく、a（4で割った値）が50%の成功レベルで発生する最大傾き（識別力）であることを意味する。さらに、正答のロジット（対数オッズ）は $a(\theta -b)$ である（$c=0$ を仮定）。特に、能力θが困難度bに等しい場合、正解のオッズは五分五分（1:1、したがってロジット0）となり、能力が困難度を上回る（または下回る）ほど正解の可能性は高く（または低く）なる。識別力aは、能力に応じてオッズがどれほど急速に増加または減少するかを決定する。

多肢選択式項目などの項目の場合、パラメータ $c_{i}$ は、正答確率に対する推測の影響を考慮しようとするために使用される。これは、能力が非常に低い個人が偶然にこの項目を正解する確率を示し、数学的には低い漸近線として表される。4択の多肢選択式項目は、例の項目のようなIRFを持つ可能性がある。能力が極めて低い候補者が正解を推測する可能性は1/4であるため、$c_{i}$ はおよそ0.25になる。もしある選択肢が意味をなさない場合、最も能力の低い人でもそれを除外できるため、このアプローチはすべての選択肢が等しくもっともらしいと仮定している。

テスト特性曲線

各項目は互いに独立であるという前提を置いているので、テスト全体の特性を表すモデルを、すべての項目特性曲線を足すことで求めることができる。これをテスト特性曲線という。

$T({\theta })=\sum _{i=1}^{N}p_{i}({\theta })$

試験のスコアはこのテスト特性曲線によって求められる。テスト特性曲線は${\theta }$の関数であり、$T({\theta })$の値を受験者のスコアとする。よって、IRTによるスコアは従来の方法によるスコアと比べ、計算・解釈において非常に異なっている。しかし、ほとんどのテストにおいて、値${\theta }$と従来のスコアとの（線形）相関関係は非常に高い（.95以上になることが多い）。したがって、従来のスコアに比べ、IRTのスコアのグラフは累積度数分布曲線の形に近くなる。

ここまでで示したモデルでは、1次元的な特性と、項目に対する正解・不正解のような2値のいずれかの応答を前提としていた。しかし、多値ラッシュモデルのように多値（例えば0:全く誤り 1:ほとんど誤り 2:概ね正しい 3:完全に正しい、の4値）をとるように拡張されたモデルや、多次元的な特性を仮定したモデルも存在する。

パラメータの推定

以上では${\theta }$、$a_{i}$、$b_{i}$、$c_{i}$の各パラメータが存在するものとして考えてきたが、それぞれの真の値は一般的に未知である。よって、離散的な回答からそれぞれの値を推定することもIRTにおける重要な問題である。その推定方法としては、最尤推定法、ベイズ推定法などが知られている。

情報関数

IRTの主な知見の1つは信頼性の概念を拡張したことである。伝統的に、信頼性とは測定の精度を示すものであり、真のスコアと観察されたスコアの誤差の比率など、様々な方法で定義される単一の指標であらわされる。古典的なテスト理論では、クロンバックのα係数などがテスト全体としての信頼性の指標を表すものとして知られている。しかしIRTによると、評価の精度はテストの成績の全範囲にわたって均一ではないことが明らかになる。一般的に、試験点数の範囲の端のスコアは、中央に近いスコアより多くの誤差を含んでいる。

IRTでは、項目・テストのそれぞれについて、信頼性の概念を置き換える情報関数 (Information Function) という概念が用いられる。例えばフィッシャーの情報理論に従って、ラッシュモデルの場合には、項目情報関数は単純に正しい応答の確率と不正確な応答の確率の積で与えられる。すなわち、不正確な応答の確率を$q_{i}({\theta })=1-p_{i}({\theta })$で表すと、以下の式で与えられる。

$I({\theta })=p_{i}({\theta })q_{i}({\theta })$

推定の標準誤差はテスト情報の逆数である。すなわち以下の式で表される。

${\mbox{SE}}({\theta })=1/{\sqrt {I({\theta })}}$

従って、情報量が多いほど、測定の間違いがより少ない（被験者の能力の推定がより正確である）ことを意味する。

2PL、3PLモデルでもほぼ同様であるが、他のパラメータも考慮に入る。2PL、3PLモデルのための項目情報関数はそれぞれ以下の式で表される。

$I({\theta })=a_{i}^{2}p_{i}({\theta })q_{i}({\theta })$

$I({\theta })=a_{i}^{2}{\frac {q_{i}({\theta })}{p_{i}({\theta })}}{\frac {(p_{i}({\theta })-c_{i})^{2}}{(1-c_{i})^{2}}}$

各項目は互いに独立であるという前提を置いているので、項目情報関数は加法的である。テスト情報関数は単純にその試験における各項目の項目情報関数の和で求められる。テスト情報関数は、古典的なテスト理論における信頼性の概念を置き換えるものになる。

この性質を用いて、テスト項目の適切性に理論的根拠を与えることや、ある目的に特化したテストを作ることが可能になる。例えば、ある合格基準点を超えるか超えないかのみで合格・不合格が結果として与えられる（実際の合格点は重要でない）テストを作るのに有効なのは、合格基準点の近くで大きい情報が得られる項目だけを集めてテストを作ることである。また、コンピュータ適応型テストのように、ある時点での回答状況に応じて受験者の能力値を推定し、次にその受験者の能力値周辺で大きな情報が得られる問題を出題するということも可能になる。

等化

等化 (equating) とは、異なったテストの結果、異なった受験者に対してのテストの結果を、項目パラメータや被験者能力値に関係なく、共通の原点と単位をもつ尺度に変換することである。等化には、水平的等化、垂直的等化の2種類がある。

水平的等化 (horizontal equating)

同一の能力水準に対して複数のテストの難易度間に共通の尺度を設定すること

垂直的等化 (vertical equating)

異なった難易度のテスト間に異なった尺度を設定すること

古典的なテスト理論においては、テスト依存性や受験者依存性がつきまとうので等化を実現することは困難であった。しかしIRTによる項目パラメータは不変的であり、理論的には等化の必要はない。しかし、実際には一定の定数によって、2つのテストの得点を同一尺度上に変換することがよく行われる。この手続きは以下の式で行われる。

${\theta }'={\alpha }{\theta }+{\beta }$

${\theta }'$は等化された能力値で、${\alpha }$、${\beta }$は等化定数と呼ばれている。またこのとき、項目パラメータは以下のように調節される。

$a_{i}'={\frac {a_{i}}{\alpha }}$

$b_{i}'={\alpha }b_{i}+{\beta }$

等化定数${\alpha }$、${\beta }$の推定には、共通の受験者または共通の項目が必要となる。そして、等化のための基準には回帰係数、平均値と標準偏差、項目特性曲線の特徴等が用いられる。

実装

Rプログラミング言語やPythonなど、さまざまな統計プログラムや言語で、項目応答理論のさまざまなバリエーションの実装が利用可能である。

IRTを使用している主なテスト

• 医学系共用試験CBT
• SAT (大学入学適性検査)
• Graduate Record Examination（GRE）
• 全国学力・学習状況調査
• ITパスポート試験
• 基本情報技術者試験
• TOEFL
• TOEIC
• BJTビジネス日本語能力テスト
• J-CAT(日本語適応型テスト)
• 日本語能力試験
• JETRO ビジネス能力日本語試験
• 日経TEST
• 語彙・読解力検定
• Linux認定LPIC
• 日本留学試験
• TECC (中国語コミュニケーション能力検定)
• リーディング・スキル・テスト

関連項目

• プロジェクト:数学/数学に関する記事
• 潜在ランク理論（LRT:Latent Rank Theory）- IRTと同様の分析だが、連続ではなく段階尺度で行ったもの