汎用人工知能による人類滅亡のリスク

汎用人工知能による人類滅亡のリスク（Existential risk from artificial general intelligence）とは、汎用人工知能（Artificial General Intelligence：AGI）の大幅な進歩により、人類の絶滅や地球規模の大災害が起こる可能性があるという仮説である。

概要

汎用人工知能による人類滅亡のリスクの可能性は広く議論されており、コンピュータサイエンスの将来の進歩にも左右される 。かつてのサイエンス・フィクションの専売特許だった超知能に関する懸念は2010年代に主流となり始め、スティーブン・ホーキング、ビル・ゲイツ、イーロン・マスクなどの著名人によって広められた。

この仮説では、現在人類が他の種を支配しているのは、人間の脳に他の動物にはない特有の能力があるためであるが、AIが一般的な知能で人類を上回り、「超知能」となった場合、人類が制御することが困難、あるいは不可能になる可能性があるとされる。マウンテンゴリラの運命が人間の善意に左右されるように、人類の運命も超知能に左右されると主張する。

この懸念は主に封じ込め（AI capability control）と合致（AI alignment）の2種類の問題から生じる。つまり、超知能の機械を制御すること、あるいは人間に適合する価値観を植え付けることは、素朴に考えられているよりも難しい問題である可能性がある。多くの研究者は、超知能マシンが現在の目標を達成できなくなるため、それを停止したり目標を変更しようとする試みには当然抵抗するだろうし、超知能を人間の重要な価値観や制約に完全に一致させることは極めて困難であると主張している。一方、計算機科学者のヤン・ラカンなどは、超知能には自衛の欲求はないと主張する。

もう１つの懸念は、突然の予期せぬ「知能の爆発」が、それに対する準備をしていない人類を驚かせるかもしれないということである。例えば、AI研究者の能力に匹敵する人工知能の第一世代が、6ヶ月でアルゴリズムを書き換えて速度や能力を倍増させたとすると、第二世代のプログラムは同様の仕事をするのに3ヶ月かかると予想される。このシナリオでは、各世代の時間は短縮され続け、システムは短い時間間隔で前例のないほど、多くの世代を経て改善を重ね、超人的な性能に飛躍すると仮定される。経験的に言えば、囲碁の領域におけるAlphaZeroの例のように、AIが時として狭い人間レベルの能力から、狭い超人的な能力に極めて速く進歩できることを示している。