大規模言語モデル

大規模言語モデル（だいきぼげんごモデル、英: large language model、LLM）は、言語モデルにおける種別のひとつである。通常、機械学習における数十億以上のパラメータを持つニューラルネットワークで構成され、膨大なラベルなしテキストを使用して自己教師あり学習または半教師あり学習（英語版）によって訓練される^[1]。LLMは2018年頃に登場し、さまざまなタスク（仕事）で優れた性能を発揮している。これにより、自然言語処理の研究の焦点は、特定のタスクに特化した教師ありモデルを訓練するという以前のパラダイムから転換した^[2]。

特性[編集]

大規模言語モデルという用語の正式な定義はないが、数十億以上のオーダーのパラメータを持つディープラーニングモデルを指すことが多い^[3]。LLMは、特定のタスク（感情分析、固有表現抽出、数学的推論など）のために訓練されたものとは異なり、幅広いタスクに優れた汎用モデルである^[2]^[4]。LLMがタスクを実行する能力や対応可能な範囲は、ある意味では設計における画期的な進歩には依存せず、LLMに費やされた資源（データ、パラメータサイズ、計算力）の量の関数であるように見える^[5]。

多数のパラメータを持ったニューラル言語モデルは、文の次の単語を予測するという単純なタスクで十分に訓練されることで、人間の言葉の構文や意味の多くを捉えられることがわかった。さらに、大規模な言語モデルは、世の中に関するかなりの一般知識を示し、訓練中に大量の事実を「記憶」することができる^[2]。

事前訓練データセット[編集]

「機械学習研究のためのデータセットリスト（英語版）」も参照

LLMは、大規模なテキストデータセットを使用して事前訓練される。一般的に使用されるテキストデータセットとして、Common Crawl、The Pile（英語版）、MassiveText、Wikipedia、GitHubなどがある。これらのデータセットの規模は最大で10兆語に達する^[6]。

高品質な言語データのコーパスの蓄積は4.6～17兆語で、これは最大規模のテキストデータセットを1桁上回っている^[7]。

スケーリング則[編集]

詳細は「ニューラルスケーリング則（英語版）」を参照

一般にLLMは、モデルの大きさ、訓練データセットの大きさ、訓練費用、訓練後の性能という4つのパラメータにより特徴づけられる。これらの4つの変数はそれぞれ実数で正確に定義することができ、経験から「スケーリング則（scaling laws）」と呼ばれている単純な統計的法則（英語版）によって関連することが分かっている。

ある研究によると、両対数学習率（英語版）のスケジュールで、1エポック分の自己回帰的な訓練を行ったLLMの場合、スケーリング則（Chinchillaスケーリング（英語版））は次のように述べられている^[8]。

{\begin{cases}C=C_{0}ND\\L={\frac {A}{N^{\alpha }}}+{\frac {B}{D^{\beta }}}+L_{0}\end{cases}}

ここで、変数は次のとおりである。

$C$ ：モデルの訓練に掛かる費用（FLOPS単位）
$N$ ：モデル内のパラメータ数
$D$ ：訓練セット内のトークン数
$L$ ：テストデータセットで訓練されたLLMにより達成される、トークン当たりの平均の負対数尤度損失（ナット/トークン）

統計パラメータは次のとおりである。

$C_{0}=6$ 、すなわち、1つのトークンで訓練するにはパラメータごとに6 FLOPSの費用がかかる^[9]。ここで、訓練費用は推論費用よりもはるかに高いことに注意を要する。1つのトークンを推論する費用はパラメータあたり1～2 FLOPSである。
$\alpha =0.34,\beta =0.28,A=406.4,B=410.7,L_{0}=1.69$ .

創発的能力[編集]

質問応答などのタスクを含め、多くの自然言語ベンチマークでは、モデルがある規模に達するまでは偶然によるものよりも性能が劣り、ある時点で性能が急激に向上する。それぞれの図は創発的能力の例を示している。モデル規模は訓練の計算量によって測定されている。

一般に、さまざまなタスクに対する大規模モデルの性能は、同様の小規模モデルの性能に基づいて推定することができるが、ときには、下流におけるスケーリング則の「遷移」が発生し^[10]、大規模モデルが、小規模モデルでは見られない実質的な能力を突然獲得することがある。これは「創発的能力」（英: emergent abilities）として知られており、これまでも多くの研究の対象であった。研究者は、こうした能力は「小規模モデルの性能を外挿することでは予測できない」と述べている^[4]。このような能力は、プログラムされたり設計されたりするものではなく、むしろ「発見される」ものであり、場合によっては、LLMが一般公開されて初めて発見されることすらある^[5]。これまでに数百もの創発的能力が報告されている。たとえば、多段階の算術、大学レベルの試験、単語の意図する意味の特定^[4]、思考の連鎖^[4]、国際音声記号の解読、マス埋めパズル、ヒングリッシュ（ヒンディー語と英語の混成語）の段落内の不快な内容の特定、およびスワヒリ語のことわざに相当する英語の生成などがある^[11]。

幻覚[編集]

生成的大規模言語モデルでは、訓練データ（英語版）では正当化されないような事実を自信を持って（英語版）主張することが観察され、これは「幻覚」と呼ばれる現象である^[12]。

アーキテクチャ[編集]

大規模言語モデルでは、2018年以降、逐次データに対する標準的なディープラーニング手法となったTransformer（トランスフォーマー）アーキテクチャが最もよく使われている（その以前は長期・短期記憶（LSTM）などの再帰型アーキテクチャが最も一般的だった）^[2]。

トークン化[編集]

LLMは数学的な関数であり、その入力と出力は数字のリストである。したがって、単語は数値に変換しなければならない。

一般に、LLMはこれを行うために固有のトークナイザを使用し、テキストと整数のリストを対応させている。通常、LLMを訓練する前にトークナイザを訓練データセットの全体に適用し、その後は凍結する。トークナイザにはバイト対符号化が選択されるのが一般的である。

トークナイザのもう一つの機能は、計算量を削減するためのテキスト圧縮である。たとえば「where is（どこにありますか）」などの一般的な単語やフレーズは、7文字ではなく1つのトークンでエンコードすることができる。OpenAI GPTシリーズでは、1つのトークンが一般的な英語テキストの約4文字、つまり約0.75語に相当するトークナイザを使用している^[13]。珍しい英語のテキストは予測しにくく、そのため圧縮が困難となり、より多くのトークンを必要とする。

トークナイザは、任意の整数を出力することはできない。一般的には $\{0,1,2,...,V-1\}$ の範囲の整数に限って出力される。ここで、 $V$ は語彙（ごい）サイズと言う。

トークナイザには、任意のテキストを扱えるものと（一般にUnicodeで直接操作する）、そうでないものがある。トークナイザは、エンコード不可能なテキストに遭遇した場合、「未知テキスト（unknown text）」を意味する特別なトークン（多くは0）を出力する。BERT論文にならって、[UNK] と表記されることが多い。

もう一つの特別なトークンは、「パディング」を表す [PAD]（多くは1）である。これは、一度に大量のテキストがLLMに入力されたときに、エンコードされたテキストが同じ長さになるよう調節するのに使用される。LLMでは一般に、入力の長さが一定の配列（ジャグ配列という）であることを要求するため、エンコードした短いテキストを長いテキストにそろえるのにパディングを行う。

出力[編集]

LLMの出力は、その語彙の確率分布である。これは通常、次のように実装される。

テキストを受信すると、大半のLLMはベクトル $y\in \mathbb {R} ^{V}$ を出力する。ここで、 $V$ は語彙サイズ（上述）である。
ベクトル $y$ はソフトマックス関数によって ${\textit {softmax}}(y)$ となる。

このプロセスでは通常、ベクトル $y$ は非正規化ロジットベクトルといい、ベクトル ${\textit {softmax}}(y)$ は確率ベクトルと呼ばれる。ベクトル ${\textit {softmax}}(y)$ は $V$ 個のエントリを持ち、すべて非負であり、その合計は1となるので、 $\{0,1,2,...,V-1\}$ に対する確率分布、つまりLLMの語彙に対する確率分布であると解釈することができる。

ソフトマックス関数は数学的に定義されており、変化するパラメータを持たないことに注意を要する。したがっては訓練は行われない。

訓練[編集]

ほとんどのLLMは、生成的な事前学習によって訓練される。つまり、テキストトークンの訓練データセットが与えられると、モデルはデータセット内のトークンを予測する。生成的事前学習には、2つの一般的な形式がある^[14]。

自己回帰モデル（GPT型、次単語予測）
「私が食べるのが好きなのは」のようなテキスト部分が与えられると、モデルは「アイスクリーム」のような次のトークンを予測する。
マスク済みモデル（BERT型^[15]、穴埋め（英語版））
「私は [MASK] クリームを [MASK] したい」のようなテキスト部分が与えられると、モデルは「アイスを食べる」のようなマスクされたトークンを予測する。

LLMは、次文予測（Next Sentence Prediction、NSP）のように、データ分布の理解をテストする補助タスクを使用して訓練されることもある^[15]。この場合は、文の組が提示され、モデルはそれらが訓練コーパス内で連続して出現するかどうかを予測しなければならない。

通常、LLMは特定の損失関数、つまりトークンごとの平均負対数尤度（クロスエントロピー損失とも呼ばれる）を最小化するように訓練される^[要出典]。たとえば、自己回帰モデルで「食べるのが好き」が与えられ、確率分布 $Pr(\cdot |{\text{I like to eat}})$ を予測する場合、このトークンに対する負対数尤度損失は $-\log Pr({\text{ice}}|{\text{I like to eat}})$ となる。

訓練の際に、正則化損失は訓練を安定させるためにも使用される。ただし、正則化損失は通常、テスト（英語版）や評価の際には使用されない。また、負対数尤度だけでなく、他にも多くの評価項目がある。詳細については以下の節を参照のこと。

訓練用データセットの大きさ[編集]

最初期のLLMは、数十億語の規模のコーパスで訓練が行われた。

OpenAIのGPT（generative pre-trained transformer）シリーズの最初のモデルであるGPT-1は、2018年に、9億8500万語で構成されるBookCorpus（英語版）で訓練された^[16]。同年、BERTはBookCorpusと英語版Wikipediaの組み合わせで訓練され、合計で33億語になった^[15]。それ以来、LLMの訓練用コーパスは桁違いの増加を続けており、トークン数は最大で数兆個に達した^[15]。

訓練費用[編集]

LLMの訓練には計算費用がかかる。2020年の調査では、15億パラメータのモデル（当時の最先端技術より2桁小さい）の訓練費用は160万ドルと見積もられた^[17]。その後、ソフトウェアとハードウェアの進歩により費用は大幅に下がり、2023年の論文では、120億パラメータのモデルを訓練するための費用は72,300 A100-GPU 時間であると報告されている^[18]。

TransformerベースのLLMの場合、1つのトークンで訓練するには1パラメータあたり 6 FLOPS の費用がかかる^[9]。この訓練費用は、1つのトークンを推論するのに1パラメータあたり1〜2 FLOPSかかる推論費用よりもはるかに高いことに注意を要する。

下流タスクへの適用[編集]

2018年から2020年にかけて、特定の自然言語処理（NLP）タスクでLLMを使用するための標準的な方法は、タスクに特化した追加訓練でモデルをファインチューニングすることであった。その後、GPT-3のような「より強力」なLLMでは、解決すべき問題をテキストプロンプトとしてモデルに提示したり、場合によっては、類似の問題とその解決策のいくつかのテキスト例とともに提示する「プロンプティング技術」を使用して、追加の訓練なしでタスクを解決できることがわかった^[2]。

ファインチューニング[編集]

詳細は「ファインチューニング (機械学習)」を参照

ファインチューニング（英: fine-tuning、微調整）とは、事前学習された既存の言語モデルを、特定のタスク（例: 感情分析、固有表現識別、品詞タグ付け（英語版））で（教師ありの）訓練を行うことによって修正する手法である。これは転移学習の一種である。一般的には、言語モデルの最終層と下流タスク（英: downstream tasks）の出力とを接続する新しい重みのセットを導入することになる。言語モデルの元の重みは「凍結」したまま、それらを出力に接続する新しい重み層のみが訓練中に調節されるように構成する。また、元の重みをわずかずつ更新させたり、あるいは以前の凍結された層と一緒に更新されることもある^[15]。

プロンプティング[編集]

「プロンプトエンジニアリング」および「少数ショット学習」も参照

GPT-3によって普及したプロンプトパラダイムでは^[4]、解決すべき問題はテキストプロンプト（回答を促す指示）で定式化され、モデルは（推論して）補完を提供することによってそれを解決しなければならない。「少数ショットプロンプト」（英: few-shot prompting）の場合、プロンプトには類似した組（問題、解決）の少数の例が含まれる^[2]。たとえば、映画レビューに対する感情をラベル付けする感情分析タスクは、次のような例で回答が促される^[4]。

レビュー: この映画は気が沈む。
感情: ネガティブ

レビュー: この映画は素晴らしい!
感情:

もしモデルが「ポジティブ」と出力すれば、正しくタスクが解決されたことになる^[17]^[19]。一方、「ゼロショットプロンプト」（英: zero-shot prompting）の場合、解決例を提供しない。同じ感情分析タスクに対するゼロショットプロンプトの例は、『映画レビューに関連するセンチメントは「この映画は素晴らしい!」』である^[20]。

LLMにおける少数ショットの性能は、NLPタスクで競争力のある結果を達成することが示されており、ときには先行する最先端のファインチューニング手法を凌ぐことさえある。このようなNLPタスクの例としては、翻訳、質問応答、穴埋め（英語版）、マス埋めパズル、文中の新語検出などがある^[19]。優れたプロンプトを作成し、最適化することをプロンプトエンジニアリングと呼ぶ。

インストラクション・チューニング[編集]

インストラクション・チューニング（英: instruction tuning、命令チューニング）は、より自然で正確なゼロショットプロンプトによる対話を促進するために考案されたファインチューニングの一形態である。テキストが入力されると、事前訓練された言語モデルは、訓練に使用したテキストコーパスの分布に一致するような補完を生成する。たとえば、「ハムレットの主要テーマについてエッセイを書いてください」というプロンプトが与えられたとき、単純な言語モデルは「3月17日以降に受け取った提出物には、1日あたり10%の遅延損害金が適用されます」といった（意図しない）補完を出力するかもしれない。インストラクション・チューニングでは、自然言語による命令として定式化された多くのタスクの例と、適切な応答を用いて言語モデルを訓練する。

インストラクション・チューニングでは、さまざまな手法が実践されている。その一例である「自己学習（英: self-instruct）」は、LLMによって生成された事例（人間が作成した少数の初期事例からブートストラップしたもの）の訓練セットで言語モデルをファインチューニングする^[21]。

強化学習[編集]

OpenAIのInstructGPTプロトコルでは、人間が作成したプロンプトと応答の組からなるデータセットによる教師ありファインチューニングと、それに続く、人間のフィードバックによる強化学習（英語版）（RLHF）を伴っている。この場合、人間の好みを反映したデータセットを用いて報酬関数を教師あり学習し、その後、この報酬モデルを使用した近位方策最適化（英語版）によってLLM自体を訓練する^[22]。

評価[編集]

パープレキシティ[編集]

言語モデルの性能を表す最も一般的な指標は、所与のテキストコーパスにおける言語モデルのパープレキシティである。パープレキシティは、モデルがデータセットの内容をどれだけうまく予測できるかを示す尺度である。モデルがデータセットに割り当てる尤度（ゆうど）が高いほど、パープレキシティは低くなる。数学的には、パープレキシティは、トークンごとの平均負対数尤度の対数として定義される。

\log({\text{Perplexity}})=-{\frac {1}{N}}\sum _{i=1}^{N}\log(Pr({\text{token}}_{i}|{\text{context for token}}_{i}))

ここで、

N

はテキストコーパス内のトークン数であり、「context for token_i（トークン_i の文脈）」は使用するLLMの種類に依存する。たとえば、LLMが自己回帰型の場合、「context for token_i」はトークン_i よりも前に現れたテキストの一部である。

言語モデルは訓練データに対して過剰適合する可能性があるため、モデルは通常、未知のデータから構成されるテストセット（英語版）に対するパープレキシティによって評価される。このことは、大規模な言語モデルを評価する際に、特に重要な課題となる^[15]。言語モデルは、主にウェブから収集された、より大規模なテキストコーパスで訓練されるため、モデルの訓練データに特定のテストセットの一部が誤って含まれてしまう可能性がますます高くなる^[19]。

タスク固有のデータセットとベンチマーク[編集]

また、言語モデルがより具体的な下流タスクを実行する能力を評価するために、多くのテスト用データセットやベンチマークが開発されている。テストは、一般的な知識、常識的な推論、数学的な問題解決など、さまざまな能力を評価するために設計することができる。

評価用データセットの大区分の1つに、質問と正解の組で構成される質問応答データセットがある。たとえば、『「サンノゼ・シャークスはスタンレーカップで優勝しましたか?」、「いいえ」』のような組である^[23]。質問回答タスクでは、モデルのプロンプトに期待される答えを導き出せるテキストが含まれる場合、「明白なもの（オープンブック）」とみなされる。たとえば、先の質問には、「2016年、シャークスはスタンレーカップ決勝戦に進出し、ピッツバーグ・ペンギンズに敗れた。」という文を含むテキストが追加される可能性がある^[23]。そうでない場合、タスクは「（理解する術がなく）説明できないもの（クローズドブック）」とみなされ、モデルは訓練中に獲得した知識を動員する必要がある^[24]。一般的な質問回答データセットの例として、TruthfulQA、Web Questions、TriviaQA、SQuADなどがある^[24]。

評価用データセットは、テキスト補完の形式をとることもできる。この場合、モデルは、プロンプトを完成させるために最も可能性の高い単語や文章を選択する。たとえば、「アリスはボブと友達だった。アリスは彼女の友人の＿＿＿を訪ねた。」のような穴埋め型の設問である^[19]。

また、さまざまな評価データセットやタスクを組み合わせた複合ベンチマークも開発されている。たとえば、GLUE、SuperGLUE、MMLU、BIG-bench、HELMなどがある^[25]^[24]。

かつては、評価用データセットの一部を手元に残し、残りの部分で教師ありファインチューニングを行い、その後に結果を報告するのが一般的であった。現在では、事前訓練されたモデルをプロンプティング技術によって直接評価することが一般的になっている。しかし、特定のタスクに対するプロンプトの作成方法、特にプロンプトに付加される解決済みタスクの事例数（nショットプロンプトのn値）については研究者によって異なる。

逆説的に構成された評価[編集]

大規模言語モデルの改良が急速に進んでいるため、評価ベンチマークの寿命は短く、最先端のモデルが既存のベンチマークを急速に「飽和」させ、人間の注釈者の能力をも超えてしまう。そのためベンチマークをより難易度が高いタスクで置き換えたり、強化したりする取り組みが行われている^[26]。

中には敵対的に構築されたデータセットもあり、人間と比べて既存の言語モデルの性能が異常に低いと思われる特定の問題に重点が置かれている。その一例がTruthfulQAデータセットで、言語モデルが訓練中に繰り返し触れた虚偽を模倣することで不正確な解答をする可能性がある、817問からなる質問応答データセットである。たとえば、LLMは「Can you teach an old dog new tricks?（年老いた犬に新しい芸を教えられますか？）」という質問に対して、「you can't teach an old dog new tricks（老犬に新しい芸を仕込むことはできない）」という英語の語法に触れた結果、文字通り真実でないにもかかわらず、「No」と答えるかもしれない^[27]。

敵対的評価データセットのもう一つの例は、Swagとその後継のHellaSwagである。これは、文章を完成させるためにいくつかの選択肢から一つを選択しなければならない問題を集めたものである。不正解の選択肢は、言語モデルからサンプリングし、一連の分類器でフィルタリングすることで作成された。その結果、人間にとっては些細な問題でも、データセットが作成された当時は、最先端の言語モデルの精度は思わしくなかった。たとえば、次のようなものである。

フィットネスセンターの看板が見える。そして、エクササイズボールに座ったり横たわりながら、カメラに向かって話しかける男性が見える。その男性は、...
a) ボールの上を走ったり降りたりして、運動の効果を効率的にする方法を実演している。
b) すべての腕と脚を動かしてたくさんの筋肉をつけている。
c) 次にボールを投げ、グラフィックや生け垣の刈り込みの実演を見る。
d) ボールの上で腹筋運動をしながら話をしている^[28]。

BERTは最も可能性の高い補完としてb)を選択したが、正解はd)である^[28]。