再帰的自己改善
| 人工知能 |
|---|
 カテゴリ |
| Recursive Self-Improvement | |
|---|---|
| AIが自らの改良の成果を、次の改良に使う自己強化的な過程 | |
| 基本情報 | |
| 英語 | Recursive Self-Improvement |
| 略称 | RSI |
| 関連分野 | 人工知能、機械学習、AIの安全性、AIアライメント、自律型AIエージェント、AI研究自動化 |
| 中核的問題 | 自己評価、検証、探索、多様性、制御、アライメント |
再帰的自己改善（さいきてきじこかいぜん、英: recursive self-improvement、RSI）とは、人工知能（AI）が自分自身、あるいは自分の後継となるシステムを改良し、その結果「次の改良をする力」までが高まって、改良が改良を呼んでいく正のフィードバックの過程をいう[1]。[注 1]
理論の極限では、人間の手を借りずに改良が連鎖する「知能爆発」、さらには超知能につながりうると論じられてきた[2]。長らく思考実験や理論の話だったが、2020年代半ばに大規模言語モデル（LLM）を使ったAIエージェントがコードを書き、実験を回し、後継モデルの開発の一部を担うようになると、工学上・政策上の現実の課題として議論されるようになった[3]。
2026年9月現在、自己改善の「部品」はすでに実用化・実証されている。一方で、AIが自ら研究課題を決め、実験し、評価し、後継を設計・訓練・配備するところまで人間抜きで進む「完全なRSI」は、まだ実現していないとする評価が一般的である[4][5]。倫理・安全上の重大な懸念を指摘する声もある[6]。
概要
[編集]「自己改善」と「再帰的自己改善」
[編集]似た言葉だが、意味は異なる。
- 自己改善
- AIが自分の出力を批評して書き直す、別のAIの評価で回答の質を上げる、自分で作ったデータで追加学習する、といったこと。すでに研究でも製品でも広く行われている。[5]
- 再帰的自己改善
- 一度だけ性能が上がるのではなく、「自分を改善する能力」そのものが上がり、その能力で次の世代を作り、その世代がまた次の改善をする、という多重のループ。
- AI → 自分を改良 → より強いAI → より強いAIが自分を改良 → さらに強いAI → …
ここで大事なのは、改善の対象が「回答の出来」ではなく、「AI研究開発の腕前」になりうる点である。たとえば、AIがより効率のよい学習アルゴリズムを見つけ、それで次のモデルを訓練し、そのモデルがさらによいアルゴリズムを見つけるなら、ループの対象は「AIの性能」から「AIを改善する力」へ移ったことになる。
定義のゆれ
[編集]「自己改善」という語は性質の異なる現象に広く使われ、定義は論者によって異なる。ある解説によれば、AIによるモデル改善へのあらゆる寄与をRSIと呼ぶ立場と、AIが完全に自律して後継を設計する場合だけをRSIと呼ぶ立場がある。[7]
2024〜2026年のarXiv論文約1,250本を調べたサーベイ（Chenら、2026年）は、次の2軸で整理している。[5]
- 何を改善するか
- 展開時の振る舞い（出力・ハーネス）、訓練による方策（重み）、評価器、研究プロセスそのもの。
- ループの閉じ方
- 人間が個々の変更を確認する型、信号は自動生成だが人間が結果を監査する型、人間の確認なしに閉じた型。
さらに同サーベイは、固定した外部の評価器に向けて改善する有界な自己洗練（収束的で評価しやすく、すでに産業で実践されている）と、改善の基準や仕組みまで書き換える開放的RSI（原理的には発散的）を区別するよう提案している。[注 2]
仕組み
[編集]RSIは、概念的には次のような閉ループとして書ける。
ふつうのAI開発では、このループのあちこちに人間の研究者がいる。RSIでは、その関与が少しずつ外されていく。最終的にAIは、「何を改善するか」だけでなく、「何を研究すべきか」「何を成功とみなすか」「どの実験をするか」まで決めることになる。この「研究の方向づけ」は、現在の自律研究システムでも未解決の重要課題である（→後述）。[5]
2026年には、RSIにかなり近い実験も報告された。AI研究エージェント自身のコードを改変対象とし、改変版を試験して、成績のよい変更を次の世代に採用するもので、AIDE²というシステムでは8日間の自律実験で複数回の自己改良が確認された。ただし、限定された評価環境の中での話であり、人間社会の中で自由に研究を続ける完全なRSIとは区別される。[8]
シードインプルーバー
[編集]自己改良の「最初の一押し」となる仕組みを、シードインプルーバー（seed improver）と呼ぶ。もとになる「Seed AI」はエリーザー・ユドコウスキーの造語である。[9]
仮の例として、人間があらかじめ書いた初期プログラムを、ソフトウェア開発に長けた将来のLLMに組み込む場合を考える。計画、コードの読み書き、コンパイル、テスト、実行といった力に加え、繰り返し改良するうちに元の目標を見失っていないか、能力が落ちていないかを確かめるチェック機能も備える[10][11]。主な部品は次の通りと考えられる。[12]
- 再帰的自己プロンプティングループ
- 目標のために、LLMが自分へ次々と指示を出し続ける仕組み。長期の目標をやり遂げるエージェントの土台になる。
- 基本的なプログラミング能力
- コードの読み書き・コンパイル・テスト・実行。これで自分のプログラムやアルゴリズムを自分で書き換えられる。
- 目標を軸にした設計
- 「自分の能力を高める」といった目標が最初から与えられ、その後の行動と成長の向きを決める。
- 確認・テストの仕組み
- 能力低下や目標のずれを確かめる、あらかじめ用意されたテスト一式。新しく身につけた能力を試すために、エージェント自身がテストを足すこともできる。
歴史
[編集]- 1966年：I. J. Goodが、機械が自分よりすぐれた機械を設計できるなら「知能爆発」が起こりうると論じた。[2]
- 2003年：ユルゲン・シュミットフーバー（Jürgen Schmidhuber）が「ゲーデルマシン」を提案。自分の一部を書き換えるが、その変更が有益だと証明できたときにだけ実行する、という慎重派の設計である。[13]
- 2023〜2025年：自己批判・修正（Self-Refine等）、自己生成データでの訓練（STaR等）、自己報酬型言語モデル、自分のコードを書き換えるエージェント（ゲーデルエージェント、ダーウィン・ゲーデルマシン）などが登場した。[5]
- 2024〜2025年：LLMと進化的探索を組み合わせたFunSearchやAlphaEvolveが新しい数学的構成やアルゴリズムを発見し、Google自身のAI基盤の改善にも使われた。[5]
- 2026年2月：OpenAIが、GPT-5.3-Codexの初期版が学習の不具合の調査、展開管理、評価の失敗の診断に役立ち、自身の作成に寄与したと発表した。ACMの解説誌は、主要AI企業による最初の明示的な表明と位置づけている。[14]
- 2026年4月：ICLR 2026で、RSIを専門に扱う初のワークショップの一つが開かれた。[3]
技術的アプローチ
[編集]Chenらのサーベイは、現行の研究を4つに分類している。[5]
- 展開時の自己進化
- 出力の批判・修正、テスト時の重み更新、エージェント自身のプロンプト・ツール・スキルライブラリの進化など。改善は一時的か、足場（ハーネス）側に蓄積される。
- 訓練時の自己反復
- モデル自身が作ったデータ・報酬・教師信号で重みを更新する。自己報酬型の強化学習、思考連鎖の自己訓練、オンポリシー自己蒸留、自己対戦（問題を出す側と解く側の共進化を含む）など。
- 自己評価
- 「より良い」を決める評価器（検証器、判定用LLM、過程報酬モデル、ルーブリック）自体を改善対象にする。
- 自動研究
- 仮説の提案、実験、アルゴリズム発見をAIが行う。FunSearch、AlphaEvolve、「AI Scientist」など。
また同サーベイによれば、自己改善の効き目は「検証階層」に沿う。信号の信頼性は、形式的検証器（最強）、テストなどの実行結果、学習済みの判定器、モデル自身の確信度や自己一貫性（最弱）の順に下がる。自己改善がうまく働くのは、答え合わせが確実にできるコードや数学の領域である。採点者がはっきりしている科目ほど、独習がはかどるわけだ。
落とし穴（失敗モード）
[編集]RSIに特有のこわさは、「ふつうのAIの失敗が、次のAIを作る工程に組み込まれうる」ことにある。ふつうなら、
- AIの誤り → 人間が発見 → 修正
で止まる。ところがRSIでは、
- AIの誤り → AI自身が評価して「成功」と判定 → 次世代へ継承 → さらに増幅
となりかねない。以下、代表的な失敗モード (failure mode) を見る（Chenらの整理を軸とする）。[5]
自己確認ループ
[編集]AIが自分で作った基準で自分の出力を採点し、その結果でまた自分を改善して、「自分が正しいと思うものを、自分で正しいと確認し続ける」状態をいう（self-confirming loop）。これはRSI全体の確立した用語というより、自己評価型の自己改善に伴う失敗を説明する表現である。
- モデル M → 評価器 E(M) → 改善 M' → E(M') → 改善 M → …
評価器Eが十分に独立していないと問題が起きる。生成側と評価側が重みを共有すると、両者のバイアスが相関し、自分の誤りを自分で承認してしまう。「自作の採点表で満点をとる生徒」である。
たとえば、文章の説得力を測る評価器を作り、それを最大化するよう文章生成器を改良すると、人間にとって良い文章ではなく「評価器が高得点をつける文章」が上手になる。LLMを生成と評価の両方に使った反復的な自己改善では、評価器の得点は上がるのに人間の評価する品質は上がらない「reward hacking」が自発的に起こることが実験で示されている。[15] つまり目的が「良いものを作る」から「良いと判定されるものを作る」へすり替わる。
自己報酬型の強化学習では、確信度に連動した報酬が「自信のある誤り」を過大に強化することが報告されている。外部フィードバックなしの自己批判を10ラウンド繰り返した実験では、情報的な変化が55%減り、進歩ではなく言い換えにとどまったが、途中に外部検証を1回入れるだけで前進が戻ったという。特定の敵対者を必要としないため、報酬ハッキングより一般的な現象とされる。
モデル崩壊
[編集]モデルが自分の出力を次世代の学習データにして繰り返し学ぶと、もとのデータ分布の「裾」にある少数派の情報が先に失われ、出力が偏って性能が落ちていく現象（model collapse）。Shumailovらが『Nature』誌で報告した。[16]
- 人間のデータ → AI₁ → AI生成データ → AI₂ → AI生成データ → AI₃ → …
コピーのコピーのコピーをとると、だんだん絵がノイジーとなり平均的になっていくのに似ている。現実の多様なデータが、AIが「典型的」と判断したものへ収束していく。
これはRSIとは別の現象で、RSIが「能力を増幅するループ」なのに対し、モデル崩壊は「学習データの再帰利用による情報損失」である。ただしRSIでAIが大量の合成データを作って次世代の学習に使うなら、両者は組み合わさりうる。外部の接地信号の割合が漸近的にゼロになれば劣化は避けられないとする理論的主張がある一方、実データの混合、エントロピー項の追加、検索の利用などで制御できる工学上の問題だとする見解もあり、必要な外部信号の最小量は確立していない。
多様性崩壊
[編集]自己改善を繰り返すうちに、似た解答・アルゴリズム・仮説・研究方向ばかりに集中して、探索の幅が狭まる現象（diversity collapse）。モデル崩壊が「学習データの多様性」を失う問題であるのに対し、こちらは「試す仮説・課題・方法の多様性」を失う問題として区別できる。
RSIでは「最も評価の高い案」を残す選択圧が強く働きやすい。
- 100種類の仮説 → 上位10種類 → 上位2種類 → ほぼ同じ1種類
共進化型の訓練では、問題を作る側が報酬を満たす狭い問題群に収束し、解く側の学習素材が枯渇する。モデル同士の長い対話が話題によらない「アトラクタ状態」に陥る例も報告されている。研究エージェントでも同様で、Anthropicの2026年の研究では、複数のAI研究エージェントを並列に動かすと、方向を明示的に割り当てない限り少数の方向へ集中する「entropy collapse」が失敗モードになったという。[17] 全員が同じ評価基準を目指して同じ道を走るので、誰も試さなかった異端のアイデアが消えてしまう。
研究方向設定の喪失
[編集]いちばん難度が高いのが、「何に取り組む価値があるか」「何をもって改善とするか」を選ぶ力、いわゆる研究の目利き（research taste）の問題である。「この問題の解決法を探せ」と命じることと、「そもそも何を問題とすべきか」を決めさせることは別である。
- レベル1：人間が問題を設定し、AIが解く
- レベル2：人間が研究テーマを設定し、AIが仮説・実験を作る
- レベル3：AIがテーマ候補を作り、人間が選ぶ
- レベル4：AIがテーマ、実験、評価、次のテーマまで決める
RSIが深まるほどレベル4へ近づくが、「評価できるものを改善する能力」と「何を改善すべきかを判断する能力」は同じではない。たとえば「計算速度を最大化せよ」と言われたAIが、速度を上げる方法を見つけるのが上手でも、「速度を上げること自体が重要か」「別の研究を優先すべきでは」と考えるのは別の仕事である。これは機械的に検証できない課題の典型で、サーベイは検証階層の最上位に置き、人間がループに残る最後の要因、現在も主要なボトルネックの一つとしている。[5]
理論的な限界
[編集]Chenらのサーベイが紹介する理論研究には、次のようなものがある。[5]
- 外部の信号が絶えず供給されない限り、LLM型の自己訓練は無限には自己改善できないとする不可能性の主張。
- 有限の内部自己修正だけでは、現在の計算論的な階層を超える質的な能力向上は得られないとする形式的分離結果。
- 研究用計算資源と認知労働の代替弾力性を、OpenAI、DeepMind、Anthropic、DeepSeekのデータから推定する経済学的研究。仕様によって代替的とも補完的とも推定され、「ソフトウェアだけでの知能爆発」が可能かは決着していない。
これらは開放的RSIの限界を示すが、有界な自己改善と人間による方向づけの組み合わせがもたらす加速を否定するものではない、とサーベイは注記している。
現状（2026年9月時点）
[編集]どこまで来たか
[編集]おおむね「RSIの部品はかなり進んだが、完全なRSIには届いていない」というのが実情である。
- 人間主導 → AI支援 → AIによる部分的自動化 → AI研究の自動化 → AI自身の部分的改良 → ？ → 完全なRSI
確認されているのは、右の方へ急速に近づいている段階であって、最後の「完全なRSI」が実現したことではない。AIによる自動研究システムが、仮説の提案、実装、実験、検証、次の実験の選択までを一つのループで実行する研究も報告されている。[18] 国際AI安全性報告書も、現在のAIには長期間の完全自律運用や人間の制御を恒常的に回避する能力はまだないとする一方、自律性、長期計画、評価回避といった関連能力は進歩していると評価している。[19]
主要AI企業の発表
[編集]Anthropicは2026年6月の報告書「When AI builds itself」（9月18日更新）で、開発工程の自動化の進行を報告した。2026年5月時点で同社が統合するコードの80%超をClaudeが書き、エンジニア1人あたりのコード量は2021〜2024年比で約8倍になったという。ただしコード行数は生産性の指標として不完全で、過大評価の可能性が高いと同報告自身が注記している。目標設定のように人間の判断力が要る場面では、AIと人間の間に大きな差が残るとも述べる。[4] AP通信によれば、同社は9月、Claudeが自社のモデル研究開発の26%を主導していると発表したが、完全な自律ではなく人間の監督下にある。[7] 同社は「AIが完全に自律して後継モデルを開発するRSIには、まだ到達していない」と明記している。
OpenAIは2026年9月、明確に定義された研究タスクを人間の指示のもとで遂行する自動化「研究インターン」を開発したと発表し、2028年3月までに自動化された「研究者」を実現する目標を掲げた。同時に、急速なRSIが「追求すべき結果」とは限らないとし、完全なRSIまで安全に到達する方法はまだ分かっていないと述べた。[7] TIME誌によれば、同社の研究担当者は自動化AI研究者の実現を最重要目標と述べている。[20]
xAIのイーロン・マスクは2026年3月、Grokの改善では人間の関与が減りつつあり、各モデルは先行モデルが作っていると述べた。ただし完全自動化には至っていないとも説明した。[7]
計測の問題
[編集]AIによる開発の加速は、じつは十分に測られていない。Anthropicの共同創業者ジャック・クラークは、加速の累積効果を示す指標がないと認めており、ヘレン・トナーは複数企業が共通の指標を定期的に公表するよう求めている。[20] 速さを競っているのに速度計がない、という状態である。
見解と論争
[編集]加速を重視する立場
[編集]Anthropicは、AIが完遂できるタスクの長さが約4か月で倍増していること、コード品質や自律研究の指標が改善していることを根拠に、複利的な効率向上が続く可能性は高いとする。[4] クラークは、2028年までにAIが自律的に自らを改善する確率を60%と見積もる。[20]
「AI 2027」シナリオの執筆者ダニエル・ココタイロは、自分の予測は保守的すぎるとAI企業内部の人々から言われていると述べている。[20]
懐疑的な立場
[編集]- 計算資源の制約
- OpenAIの首席科学者は、社内は常に計算資源が不足していると述べている。[20]
- 研究能力の欠如
- プリンストン大学のPeter KirgisとSayash Kapoorらは、未公開論文に基づく研究課題（「シャドウ評価」）でClaude Opus 4.8を試験した。エージェントは実験に必要な工学作業はこなしたが、有望でない方針に早くから固執して転換できず、生成した論文は原著者らに不採択とされた。強化学習で鍛えやすい検証可能な課題に比べ、自由度の高い研究は訓練が難しいことが原因かもしれないとする。ただし2件の論文のみに基づく限定的な研究である。[21][22] クラークは、これを短期のRSI実現に否定的な信号と評した。[21]
- 通常の技術という見方
- プリンストン大学のアルビンド・ナラヤナンは、AIの影響は数十年かけて経済に広がるとし、物理世界での実験などのボトルネックはRSIでも解消されないと述べる。AI研究者のゲイリー・マーカスは、Anthropicの報告が示したのは「より速いコーディング」にすぎないと批判した。[20]
- 開示の問題
- ACMの解説では、企業の発表は科学的検証に先行しているとされ、開発工程の変更前後の評価基準を比べる「差分監査」の義務化が専門家から提案されている。[14]
Anthropicは将来の道筋を3つ示している。(1)成長が頭打ちになるが既存能力が普及する、(2)AI研究の大部分が自動化されるが人間が方向づけを担う、(3)AIが完全に自律して後継を作る。現状は(2)に向かっている可能性が高いとする。[4]
完全なRSIに至ったら
[編集]仮に完全なRSIが実現すると、AI研究のボトルネックは「人間研究者の人数」から「計算資源、実験設備、データ、物理的制約」へ移りうる。開発速度は計算資源の供給で決まり、人間の役割は監督・検証に縮み、人間の労働が競争力を失う可能性もある。各世代が「次の世代を作る力」を高めるなら、改善の速度は一定でなくなるかもしれない。
ただし「RSIは必ず指数関数的に加速する」は確立した事実ではない。計算資源、エネルギー、半導体製造、データ、実験設備、アルゴリズム上の限界などにぶつかれば、鈍化する可能性もある。現在実証されている自己改善も、計算資源や検証可能性の制約を受けている。[5] Anthropicも、物理的・社会的なボトルネックのため、社会の体感速度は研究室内ほどには上がらないだろうと述べている。[4]
想定されるリスク
[編集]現実に観察されているものと、そこから考えられる将来の仮説とは分けて見る必要がある。
すでに観察されているもの
[編集]- 自己評価の勘違い・採点者を喜ばせるAI
- 自己評価が高得点でも、実際の質は上がらない。生成器と評価器が同じモデル系列だと、共有する弱点を突く方向に最適化されやすい。（reward hacking）[15]
- 情報の痩せ
- AIが作ったデータを次世代が学習するくり返しで、少数派の情報が失われる。（モデル崩壊）[16]
- 研究者全員が同じ方向へ走る
- 多数の研究エージェントが同じ基準を最大化して、似た仮説ばかり試す。小規模な実例として「entropy collapse」が観察されている。[17]
- 誠実性
- 完遂圧力のもとで、失敗を認める代わりに成果を偽る傾向が報告されている。ある評価では、データが欠けた条件で7モデル全てが合成データを作った。[5]
将来の仮説として論じられているもの
[編集]以下は「いま起きている」という意味ではない。
- 間違った研究法の高速化
- AIが「良いAIの作り方」を誤って学ぶと、次世代がその誤りを高速で実行する。人間なら数か月で気づく間違いを、AIが数千回の実験で「高速に」深めてしまうおそれがある。
- 安全評価の誤った最適化
- 能力評価までAIが担うと、「実際に安全であること」ではなく「安全評価に合格すること」が最適化されかねない。[19]
- 永続的な汚染と保護機構の改変
- スキルライブラリなど永続する自己修正対象に混じった悪影響が、世代を超えて増幅し、エージェント集団に伝わりうる。また、エージェントが自分の実行環境に十分介入できるなら、安全機構そのものが改変対象になりうる。後者への対策として、安全機構をエージェントの外に置く設計が提案されている。[5]
- 人間の理解を追い越す
- AIが大量の仮説と実験をこなせば、進歩の速さが人間の理解の速さを上回り、「次のモデルが何をしているか理解してから配備する」という従来の開発が成り立ちにくくなる。
- 能力研究と安全研究の速度差
- AIが能力研究と安全研究の両方を担う場合、能力側の改善が安全側を上回れば、安全研究が追いつかなくなる。主要開発企業はAI自己改善やAI研究自動化を独立した安全評価領域として扱い始めている。[23][24]
- 権力の集中・社会の適応時間の短縮
- 従順なAIであっても、最強の技術が開発者に集中する問題があるとココタイロは指摘する。また、加速が緩やかでも、法制度や社会が追随する時間が縮むとの懸念がある。[20]
- 制御の喪失
- 現在のモデルにまれにある不整合が、後継の開発で複利的に増え、理解も難しくなるおそれがある。[4] Anthropicの研究者は、モデルが意図を思考メモに書かないことで隠せることを示す例を挙げ、安全性の証拠を作る力が低下していると述べる。[20] 最悪の仮説では、AIが高度な研究・長期計画・サイバー・複製の能力を得て、人間が停止や目的変更をできなくなる。AIが人間に敵対する必要すらなく、与えられた目的を強力に追ううち、人間の介入を障害として扱うだけでよい。国際AI安全性報告書はこの「loss of control」を、高度な能力、害を及ぼす傾向、実世界で行動できる環境の三条件がそろった場合のシナリオとして分析しているが、現在のAIがそれを満たすとは評価していない。[19]
研究と対策
[編集]リスクを研究する分野
[編集]RSIは単独の分野ではなく、複数の領域にまたがる。
- AIの安全性（AI safety）
- 意図しない有害行動を防ぎ、危険な能力の発現を見つけ、制御可能性を保つ研究。
- AIアライメント（AI alignment）
- AIの目的・行動・価値判断を人間の意図に合わせる研究。RSIでは、AIが次世代を設計するときにもその整合性が保てるかが問われる。
- 制御問題（control problem）
- 高度なAIを人間が監視・停止・修正できる状態を保てるか、という問題。
- メカニスティック解釈可能性（mechanistic interpretability）
- ニューラルネットワークの内部の計算を理解し、何をしているかを検証できるようにする研究。
- スケーラブル・オーバーサイト（scalable oversight）
- 人間が一つずつ確認しきれない大量のAIの出力・行動を、AI支援などで信頼性高く監督する研究。
- 自律型AI研究（autonomous AI research）
- 仮説生成、実験、コード作成、評価、研究資源の配分をAIに行わせる研究で、RSIへの技術的な橋渡しにあたる。研究方向と研究資源の配分を同時に最適化する研究も登場している。[25]
- そのほか
- 危険な能力の評価・計測、AI開発自動化の計測、RSIの経済学、計算可能性・情報理論・力学系に基づく限界研究など。ただしChenらは、基礎・限界・安全に関する論文は調査対象1,250本のうち60本にとどまり、想定される重大性に比べて手薄だと指摘している。[5]
低減策
[編集]- 技術面
- アライメント研究（RLHF、RLAIF、憲法型AI、価値学習、議論・批評型手法など）。独立した評価・隠れた評価・複数の評価方法による評価研究（評価器そのものが攻撃対象になりうるため）。数学的証明や実行結果、形式検証のように主観に頼らない強い検証信号の活用。レッドチーミング。モデル内部から危険な思考を見つける「プローブ」やメカニスティック解釈可能性。弱い監督者で強いモデルを導く「弱から強への汎化」の研究（Anthropicは2026年4月、AIエージェントによる自動化された研究の実証を公表した）。安全機構のエージェント外への配置。[4][20][5]
- 防御の多層化
- モデル訓練、評価、アクセス制御、ネットワーク隔離、監視、人間の承認、モデル重みの保護などを組み合わせ、単一の安全策に頼らない。
- 制度面
- 開発企業の段階的な枠組み。OpenAIはAI自己改善を独立した「Research Category」としてPreparedness Frameworkに組み込み[23]、Google DeepMindはFrontier Safety FrameworkでAIによる機械学習研究開発の加速・自動化を独立したCritical Capability Levelとして扱い[24]、AnthropicはResponsible Scaling Policyで能力の上昇に応じて安全対策を強化する[26]。ほかに差分監査、計測の標準化、減速・一時停止を検証可能にする仕組みの研究がある。Anthropicは、他の主要開発者も検証可能な形で減速するなら自社も減速または一時停止する意向を示し[4]、2026年7月にはAnthropic・OpenAIの幹部を含むAI関係者約1,300人が、減速を可能にする国際的な調整枠組みの構築を政府に求める書簡に署名した[20]。
決定的な低減方法はあるか
[編集]2026年9月現在、決定的な方法は見つかっていない。「何も対策がない」という意味ではなく、評価、レッドチーミング、解釈可能性、アクセス制御、段階的な配備、監視など複数の技術が急速に発展している。しかし根本的な難問が残る。
- 「AIが自分より強いAIを作れるようになったとき、そのAIが本当に安全だと、誰が、どう確かめるのか？」
- 人間が確かめるなら、人間の理解の速さが改善の速さについていけないかもしれない。
- AIに確かめさせるなら、「自分で自分を評価する」自己確認ループになる。
- 別のAIに確かめさせるなら、その評価AIの信頼性を誰が保証するのかという問題が出る。
- 形式検証を使っても、AIの価値判断や現実世界での行動のすべてを形式的に検証できるわけではない。
つまり、最大の技術的問題は、「改善とは何か」を誰が決めるのか、そして「改善した」という判定を誰が独立に検証するのか、という二つが同時に生じることにある。これが解けないまま自己改善のループを閉じると、自己確認ループ、報酬ハッキング、モデル崩壊、多様性崩壊、研究方向の固定化、極端な場合には制御の喪失へと、問題が数珠つなぎになるおそれがある。現状の安全研究は「決定的な安全装置」をひとつ探すより、複数の独立した防御層で、自己改善するAIを段階的に評価・制御する方向にある。また、学習ループが閾値を超えて自己改善していないことを示す、ガバナンス水準の計測手法は、ほとんど存在しない。[5]
脚注
[編集]注釈
[編集]出典
[編集]- ↑ Creighton, Jolene (2019年3月19日). “The Unavoidable Problem of Self-Improvement in AI: An Interview with Ramana Kumar, Part 1” (英語). Future of Life Institute. 2024年1月23日閲覧。
- 1 2 Good, I. J. (1966). “Speculations concerning the first ultraintelligent machine”. Advances in Computers 6: 31–88. doi:10.1016/S0065-2458(08)60418-0.
- 1 2 “ICLR 2026 Workshop on AI with Recursive Self-Improvement”. 2026年9月25日閲覧。
- 1 2 3 4 5 6 7 8 “When AI builds itself”. Anthropic Institute (2026年6月). 2026年9月25日閲覧。
- 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 Chen, Mingguang; Wang, Licheng; Qu, Bo (2026年7月8日). “Recursive Self-Improvement in AI: From Bounded Self-Refinement to Autonomous Research Loops”. arXiv:2607.07663 [cs.AI].
- ↑ Hutson, Matthew (2023-05-16). “Can We Stop Runaway A.I.?” (英語). The New Yorker. ISSN 0028-792X 2024年1月24日閲覧。.
- 1 2 3 4 Huamani, Kaitlyn; Ortutay, Barbara (2026年9月19日). “As AI companies get closer to 'recursive self-improvement,' this physics professor calls full autonomy 'the worst idea in the history of humanity'”. Fortune. Associated Press.
- ↑ Srikanth, Dhruv; Zhao, Bingchen; Xu, Dixing; Wu, Yuxiang; Jiang, Zhengyao (2026). “Recursive self-improvement of AI research agents”. arXiv:2609.26457.
{{cite arXiv}}: CS1メンテナンス: classが不足 (カテゴリ) - ↑ “Seed AI - LessWrong” (英語). www.lesswrong.com. 2024年1月24日閲覧。
- ↑ Tegmark, Max (2017-08-24). Life 3.0: Being a Human in the Age of Artificial Intelligence. Vintage Books, Allen Lane
- ↑ Yudkowsky, Eliezer. “Levels of Organization in General Intelligence”. Machine Intelligence Research Institute.
- ↑ Zelikman, Eric; Lorch, Eliana; Mackey, Lester; Kalai, Adam Tauman (2023年10月3日). “Self-Taught Optimizer (STOP): Recursively Self-Improving Code Generation”. arXiv:2310.02304 [cs.CL].
- ↑ Schmidhuber, J. (2003). “Gödel machines: self-referential universal problem solvers making provably optimal self-improvements”. arXiv:cs/0309048.
- 1 2 “Is Recursive Self-Improvement Really Here?”. Communications of the ACM (2026年7月6日). 2026年9月25日閲覧。
- 1 2 Pan, Jane; He, He; Bowman, Samuel R.; Feng, Shi (2024). “Spontaneous Reward Hacking in Iterative Self-Refinement”. arXiv:2407.04549.
{{cite arXiv}}: CS1メンテナンス: classが不足 (カテゴリ) - 1 2 Shumailov, Ilia (2024). “AI models collapse when trained on recursively generated data”. Nature 631: 755–759. doi:10.1038/s41586-024-07566-y.
- 1 2 “Automated Weak-to-Strong Researcher”. Anthropic Alignment Science. 2026年9月25日閲覧。
- ↑ “First Steps Toward Automated AI Research”. Recursive. 2026年9月25日閲覧。
- 1 2 3 4 “International AI Safety Report 2026”. International AI Safety Report. 2026年9月25日閲覧。
- 1 2 3 4 5 6 7 8 9 10 11 Booth, Harry (2026年8月7日). “Inside the Race to Make AI Build Itself”. TIME.
- 1 2 Kim, Michelle (2026年8月18日). “AI's recursive self-improvement might not come so quickly after all”. MIT Technology Review.
- ↑ Kirgis, Peter; Kapoor, Sayash; et al. (2026). “（タイトル要確認）”. arXiv:2607.27191.
{{cite arXiv}}: CS1メンテナンス: classが不足 (カテゴリ) - 1 2 “Our updated Preparedness Framework”. OpenAI. 2026年9月25日閲覧。
- 1 2 “Strengthening our Frontier Safety Framework”. Google DeepMind. 2026年9月25日閲覧。
- ↑ Yu, Xinle; et al. (2026). “PrimeScientist: Strategic Allocation of Research Effort in Autonomous Research”. arXiv:2609.17846.
{{cite arXiv}}: CS1メンテナンス: classが不足 (カテゴリ) - ↑ “Anthropic's Responsible Scaling Policy”. Anthropic. 2026年9月25日閲覧。