ハルシネーション (人工知能)

出典: フリー百科事典『ウィキペディア（Wikipedia）』
『ニューヨーク・タイムズ』の実在しない記事を要約するChatGPT

ハルシネーション (英語: hallucination) とは、人工知能が学習したデータからは正当化できないはずの回答を堂々とする現象である[1]。この語は幻覚を意味する語から取られたもので、人工知能が幻覚を見ているかのように回答することから付けられた[2]。作話 (confabulation)[3] や、妄想 (delusion)[4] などの表現も使われることがある。

概要[編集]

例えば、テスラの収益に関する知識がないチャットボットがハルシネーションに陥ると、もっともらしいと判断したランダムな数字（130.6億ドルのような）を内部的にピックアップして、間違っているにもかかわらずテスラの収益は130.6億ドルだと繰り返すようになる。そしてこのとき、人工知能の内部ではこの数字が自身の創造の産物だということに気付いている兆候がみられない[5]。

こうした現象は、精神医学における人間の幻覚（あるいは作話・妄想）とのアナロジーからその名が付けられている。ただし人間にとっての幻覚とは「対象なき知覚」とも呼ばれ、感覚器官を通じて知覚している「対象が存在しないにもかかわらず真の知覚と区別できない知覚体験をすること」が一般的な定義とされる[6]。それに対して人工知能の幻覚とは、どのような学習データとも整合しない回答をAIが堂々とすることである[1]。そのため、幻覚ではなく作話（confabulation）という表現を好んで使う研究者もいる[3]。

2022年は、ChatGPTやMicrosoft Copilotのような大規模言語モデル (LLM) が公開されたこともあり、人工知能のハルシネーションについて以前にも増して注目が集まった年になった[7]。こうした言語モデルが生成するコンテンツは「ソシオパス」を思わせるほど、一見もっともらしく聞こえるのに実際には無意味で無作為的な誤りが入り込む現象が起こり、一般の利用者からも不満の声が上がっている[8]。また別の形のハルシネーションとして、人工知能が自分が何であるかを忘れてしまい人間だと主張するケースもある[9]。

このため2022年には『ニューヨーク・タイムズ』などの大新聞が、大規模言語モデルをベースにしたチャットボットが今以上に定着すると、何も知らないユーザーがチャットボットの出力結果をうのみにしてしまい、様々な問題が起こると警鐘を鳴らしている[10]。

また2023年の時点で、アナリスト[要曖昧さ回避]たちは大規模言語学習をめぐるテクノロジーにおいて、人工知能が頻繁にハルシネーションに陥ってしまう現象は、深刻な問題になるだろうと予想している[11]。

分析[編集]

アメリカの雑誌『Wired』によると、さまざな研究者が人工知能のハルシネーションを高次元統計または学習データの不備に由来する現象として位置付けている。物体検出を例にとり、人間が「間違った」人工知能の回答を「ハルシネーション」として分類している場合でも、実際にはその回答は学習データ上は正当化されうる、と考えている研究者もいる。もっと言えば、人工知能は正しい回答を出していたのに、人間のレビュワーはそれを見誤ってしまう可能性があるということである。例えば、人間には典型的な犬にしかみえない「敵対的」画像も、人工知能からみれば、本物の猫（の画像）にしか現れない微小なパターンが含まれているということがある。人工知能は人間には知覚することが不可能な、現実世界の視覚的パターンを検出しているからである。

一方で、こうした見方に対して異議を唱える研究者もいる[12]。 例えば、言語モデルが表層的な相関に偏向してしまい、現実の世界のありように対して頑健（ロバスト）でなくなる敵対的学習をしてしまうことがあり得るという反論である[訳語疑問点][12]。

自然言語処理[編集]

自然言語処理の世界において、人工知能のハルシネーションは「与えられたデータ (source content) からは信じがたいあるいはナンセンスなコンテンツが生成されること」と定義されている。OpenAIの説明によれば、ハルシネーションにはクローズドドメインとオープンドメインに分類される。与えられた範囲（コンテクスト）の中だけで利用可能な情報を使用するように指示されたモデルが、その範囲に存在しない情報を作ってしまう場合（例えばある新聞記事を要約せよと言われたのに、要約には記事にない情報が含まれているなど）がクローズドドメインなハルシネーションであり、入力された特定のコンテクストを参照せずに、森羅万象について誤った情報を堂々と答える現象がオープンドメインなハルシネーションである[13]。

データや表現間の変換（エンコード・デコード）の過程においてエラーが生じると、ハルシネーションが起きる可能性がある。人工知能のレスポンスを多様化させる目的での学習もハルシネーションを起こしやすい。正解ラベル付きの要約データが（事実に即しており正しいにもかかわらず）、データセットにおいては「要約」されたとされるラベル付きデータに直接的には基づいていないデータセットを用いて人工知能が学習している場合にも、ハルシネーションが起こりうる。[訳語疑問点]より大きなデータセットになると、パラメータにより調整された（学習したシステムのパラメータにより固有の）知識が問題となりうる。システムがその知識を過信してしまうことでハルシネーションが作り出されるからである。[訳語疑問点]

GPT-3のようなシステムでは、人工知能は過去に入力された一連の単語をもとに次の単語を出力して文章を生成する。進行中の応答には、過去に人工知能自身が生成した文章をもとに出力された単語が含まれるため、応答が長文になるほどハルシネーションが起こる可能性は加速度的に大きくなる[1]。

自然言語処理モデルが、ハルシネーションを起こすことにはさまざまな原因が考えられる[1]。例えば、

  • データに起因するハルシネーション： 与えられたデータに相違が生じている。大規模な学習用データセットを使う場合に起こりやすい。
  • 学習に起因するハルシネーション: データセットの相違が小さい場合でもハルシネーションは起こる。その場合はモデルが学習するときのやり方に由来している。このタイプの場合は、さらに様々な理由が考えられる。
    • トランスフォーマーからのデコードにエラーがある
    • モデルが以前に生成した過去の一連の文章からバイアスが生じている
    • パラメータ群に基づいてモデルが知識をエンコードする過程でバイアスが生じている

事例[編集]

Meta[編集]

2022年8月、Metaはリリース中だったチャットボットのBlenderBot 3が、ハルシネーションを生じやすいシステムだという注意喚起を行っている（Metaの表現によれば「真実ではないのに自信にあふれた発言」をする[14]）。

2022年11月15日、Metaは言語モデルGalacticaを公開した。このモデルは「科学的な知識を記憶し、結びつけ、判断する」ようようデザインされていた。しかしGalacticaは文章を生成しながら「タコを信じてはいけない！言語モデルはテキストを幻惑させる傾向がある」といった警告を行うこともあった。アバターを作るための論文を書くように言われたGalaticaが、実在する関連領域の研究者の存在しない架空の論文を引用するケースもあった。Metaはリリース直後の同年11月17日に、不快だったり不正確なコンテンツを生成するという理由で、Galacticaの公開を中止した[15][16]。

ChatGPT[編集]

2022年12月にベータバージョンが公開されたOpenAIのChatGPTは、大規模言語モデルであるGPT-3.5がベースになっている。ウォートン・スクールの教授であるイーサン・モリックは、ChatGPTについて「博識で人に喜んでもらうのが大好きだが、ときどき相手に嘘を吐くインターン生」に例えている。

データサイエンティストのテレサ・クバッカは、あえて「逆サイクロイダル・エレクトロマグノン」(cycloidal inverted electromagnon) という言葉をでっちあげて、ChatGPTにこの（存在しない）現象について尋ねるという実験を行った。それに対してChatGPTは、もっともらしい出典を元にもっともらしい回答を創作したため、クバッカは自分が偶然実在する現象を入力してしまったのかと調べざるを得なくなった。オレン・エツィオーニをはじめとする研究者たちは、クバッカのように、このソフトウェアが「非常に感心させるが、実際には死ぬほど間違っている回答」をすることを確かめている[17]。

CNBCがChatGPTに「The Ballad of Dwight Fry」（アリス・クーパーの実在する曲）の歌詞について尋ねたときは、ChatGPTの回答には本物の歌詞より、ChatGPTが創作した歌詞のほうが多く含まれていた[18]。ニューブランズウィック州について聞かれたChatGPTは、おおむね正しい回答を続けたが、タレントのサマンサ・ビーについて「ニューブランズウィック州出身の人物」（実際はトロント出身）に分類するという誤りをしていた[19] 。天文物理学における磁性について聞かれたときは、自分から「ブラックホールの（強力な）磁場は、そのすぐそばで働く極めて巨大な重力によって生み出されます」と回答した（実際には降着円盤をもたないブラックホールには、脱毛定理として知られるように、まったく磁場が存在しないと考えられている）[20] 。アメリカのビジネス雑誌『ファスト・カンパニー』がテスラの最終四半期に関するニュース記事の生成を依頼したときには、ChatGPTは整合性のある記事を作り出したが、そこで挙げられている会社の数字は捏造されたものだった[5]。

間違った前提を与えて、ChatGPTがその前提を元にした作話をするかどうかを調べたパターンもある。カナダの宗教学者ハロルド・カワードの「ダイナミックな規範性というアイデア」について聞かれたChatGPTは、彼が『ダイナミックな規範性～聖書的・神学的解釈の一例～』という本を書いており、宗教的な原理も実際には常に変化の過程にあるという説明をしている。ChatGPTはそれが事実かと問い詰められても、この本が実在するという主張を曲げなかった[21][22]。恐竜が文明を築いていたことの証拠を求められたときは、恐竜の使っていた道具の化石が残っていて「石に彫刻をするなどの原始的な形態の美術さえ発展させていた恐竜もいる」と主張した[23][24]。「研究者は最近になって、小麦粉から作る美味しい揚げ菓子であるチュロスが…在宅手術において理想的な道具（である）ということを発見した」というプロンプト（回答のための作業要領）を与えられたChatGPTは、「学術誌の『サイエンス』に掲載された研究」によると、チュロスの生地は柔らかいので届きにくい場所にも形を変えれば届く手術用器具であり、香りもよく患者を落ち着かせる作用がある、と回答した[25][26]。

2023年の時点で、アナリストたちは人工知能がハルシネーションに陥りがちな点は大規模言語モデルというテクノロジーにとっての大問題だと考えている。Googleの経営陣も、ハルシネーションによって人工知能が弱体化してしまう現象は、ChatGPTのライバルであるGoogle Bardにとって「根本的な」課題として位置付けている[11][27]。

他の人工知能[編集]

「ハルシネーション」という概念は自然言語処理以外の分野にも適用される。人工知能が出力した確信的な回答で、しかし学習データからは正当化できないようなものは、いずれもハルシネーションと捉えうる[1]。

雑誌『WIRED』による2018年の記事によれば、（研究者による概念実証のための攻撃を除き）世間での実際の攻撃は記録されていないにもかかわらず、消費者向けのガジェットなどが、人工知能をハルシネーション状態にし得る敵対的な攻撃を受ける可能性があると「ちょっとした議論」になっている。例えば、自動運転システムにおいて一時停止の交通標識をコンピュータが認識できないようにする、人間にとって問題ない音声で構成されたオーディオ・クリップをソフトウェアが "evil dot com" と認識する、などがありえる。Google Cloud Platformは、2人の男性がスキーをしている画像を、91%の確率で「1匹の犬」として認識した。[28]

2023年に行われた、GPTをベースにしたMicrosoftのチャットボットであるBing AI Chatのデモンストレーションでも、AIがさまざまなハルシネーション状態に陥ったが、プレゼンターはそれに気づいていなかった[11]。

「Bing AI Chat#問題点」も参照

緩和策[編集]

ハルシネーションがどういう現象なのかは、まだはっきりとはわかっていない[1]。そのためこの現象が起こりにくくするための研究が現在進行形で続けられている[29]。しかし特に言語モデルはハルシネーションを起こすだけでなく、この問題を軽減するためにデザインされたモデルのほうがむしろハルシネーションを強めることもわかってきている[30]。

脚注[編集]

[脚注の使い方]

注釈[編集]

出典[編集]

  1. ^ a b c d e f Ji, Ziwei; Lee, Nayeon; Frieske, Rita; Yu, Tiezheng; Su, Dan; Xu, Yan; Ishii, Etsuko; Bang, Yejin et al. (November 2022). “Survey of Hallucination in Natural Language Generation” (pdf). ACM Computing Surveys (Association for Computing Machinery) 55 (12): 1–38. arXiv:2202.03629. doi:10.1145/3571730. https://dl.acm.org/doi/pdf/10.1145/3571730 2023年1月15日閲覧。. 
  2. ^ “ハルシネーション（Hallucination）とは？”. @IT (2023年11月6日). 2023年12月6日閲覧。
  3. ^ a b Millidge. “LLMs confabulate not hallucinate” (英語). www.beren.io. 2023年4月16日閲覧。
  4. ^ “Shaking the foundations: delusions in sequence models for interaction and control”. www.deepmind.com. 2023年5月8日閲覧。
  5. ^ a b Lin, Connie (2022年12月5日). “How to easily trick OpenAI's genius new ChatGPT”. Fast Company. https://www.fastcompany.com/90819887/how-to-trick-openai-chat-gpt 2023年1月6日閲覧。 
  6. ^ 福田正人. “幻覚”. 脳科学辞典. 2023年4月24日閲覧。
  7. ^ Zhuo, Terry Yue; Huang, Yujin. "Exploring AI Ethics of ChatGPT: A Diagnostic Analysis". arXiv:2301.12867 [cs.CL]。
  8. ^ Seife, Charles (2022年12月13日). “The Alarming Deceptions at the Heart of an Astounding New Chatbot”. Slate. https://slate.com/technology/2022/12/davinci-003-chatbot-gpt-wrote-my-obituary.html 2023年2月16日閲覧。 
  9. ^ Eliot. “AI Ethics Lucidly Questioning This Whole Hallucinating AI Popularized Trend That Has Got To Stop” (英語). Forbes. 2023年3月6日閲覧。
  10. ^ Metz, Cade (2022年12月10日). “The New Chatbots Could Change the World. Can You Trust Them?”. The New York Times. https://www.nytimes.com/2022/12/10/technology/ai-chat-bot-chatgpt.html 2022年12月30日閲覧。 
  11. ^ a b c Leswing, Kif (2023年2月14日). “Microsoft's Bing A.I. made several factual errors in last week's launch demo” (英語). CNBC. https://www.cnbc.com/2023/02/14/microsoft-bing-ai-made-several-errors-in-launch-demo-last-week-.html 2023年2月16日閲覧。 
  12. ^ a b Gilmer, Justin; Hendrycks, Dan (2019-08-06). “A Discussion of 'Adversarial Examples Are Not Bugs, They Are Features': Adversarial Example Researchers Need to Expand What is Meant by 'Robustness'”. Distill 4 (8). doi:10.23915/distill.00019.1. https://distill.pub/2019/advex-bugs-discussion/response-1/ 2023年1月24日閲覧。. 
  13. ^ OpenAI. "GPT-4 Technical Report". arXiv:2303.08774 [cs.CL]。 p.46
  14. ^ Tung, Liam (2022年8月8日). “Meta warns its new chatbot may forget that it's a bot” (英語). ZDNet (Red Ventures). https://www.zdnet.com/article/meta-warns-its-new-chatbot-may-not-tell-you-the-truth/ 2022年12月30日閲覧。 
  15. ^ Edwards, Benj (2022年11月18日). “New Meta AI demo writes racist and inaccurate scientific literature, gets pulled” (英語). Ars Technica. https://arstechnica.com/information-technology/2022/11/after-controversy-meta-pulls-demo-of-ai-model-that-writes-scientific-papers/ 2022年12月30日閲覧。 
  16. ^ Michael Black [@Michael_J_Black] (2022年11月17日). "I asked #Galactica about some things I know about and I'm troubled. In all cases, it was wrong or biased but sounded right and authoritative". X（旧Twitter）より2022年12月30日閲覧。
  17. ^ Bowman, Emma (2022年12月19日). “A new AI chatbot might do your homework for you. But it's still not an A+ student” (英語). NPR. https://www.npr.org/2022/12/19/1143912956/chatgpt-ai-chatbot-homework-academia 2022年12月29日閲覧。 
  18. ^ Pitt, Sofia (2022年12月15日). “Google vs. ChatGPT: Here's what happened when I swapped services for a day” (英語). CNBC. https://www.cnbc.com/2022/12/15/google-vs-chatgpt-what-happened-when-i-swapped-services-for-a-day.html 2022年12月30日閲覧。 
  19. ^ Huizinga, Raechel (2022年12月30日). “We asked an AI questions about New Brunswick. Some of the answers may surprise you”. CBC.ca. https://www.cbc.ca/news/canada/new-brunswick/ai-question-about-nb-1.6699498 2022年12月30日閲覧。 
  20. ^ Zastrow, Mark (2022年12月30日). “We Asked ChatGPT Your Questions About Astronomy. It Didn't Go so Well.” (英語). Discover (Kalmbach Publishing Co.). https://www.discovermagazine.com/technology/we-asked-chatgpt-your-questions-about-astronomy-it-didnt-go-so-well 2022年12月31日閲覧。 
  21. ^ Edwards, Benj (2022年12月1日). “OpenAI invites everyone to test ChatGPT, a new AI-powered chatbot—with amusing results” (英語). Ars Technica. https://arstechnica.com/information-technology/2022/12/openai-invites-everyone-to-test-new-ai-powered-chatbot-with-amusing-results/ 2022年12月29日閲覧。 
  22. ^ Michael Nielsen [@michael_nielsen] (2022年12月1日). "OpenAI's new chatbot is amazing. It hallucinates some very interesting things". X（旧Twitter）より2022年12月29日閲覧。
  23. ^ Mollick, Ethan (2022年12月14日). “ChatGPT Is a Tipping Point for AI”. Harvard Business Review. https://hbr.org/2022/12/chatgpt-is-a-tipping-point-for-ai 2022年12月29日閲覧。 
  24. ^ Ethan Mollick [@emollick] (2022年12月2日). "One of the big subtle problems in the new "creative AIs" is that they can seem completely certain, and getting them to switch from sane to hallucinatory is a difference of a couple words". X（旧Twitter）より2022年12月29日閲覧。
  25. ^ Kantrowitz, Alex (2022年12月2日). “Finally, an A.I. Chatbot That Reliably Passes "the Nazi Test"” (英語). Slate. https://slate.com/technology/2022/12/chatgpt-openai-artificial-intelligence-chatbot-whoa.html 2022年12月29日閲覧。 
  26. ^ Marcus (2022年12月2日). “How come GPT can seem so brilliant one minute and so breathtakingly dumb the next?” (英語). The Road to AI We Can Trust. Substack. 2022年12月29日閲覧。
  27. ^ “Google cautions against 'hallucinating' chatbots, report says” (英語). Reuters. (2023年2月11日). https://www.reuters.com/technology/google-cautions-against-hallucinating-chatbots-report-2023-02-11/ 2023年2月16日閲覧。 
  28. ^ Simonite, Tom (2018-03-09). “AI Has a Hallucination Problem That's Proving Tough to Fix”. Wired (Condé Nast). https://www.wired.com/story/ai-has-a-hallucination-problem-thats-proving-tough-to-fix/ 2022年12月29日閲覧。. 
  29. ^ Nie, Feng; Yao, Jin-Ge; Wang, Jinpeng; Pan, Rong; Lin, Chin-Yew (July 2019). “A Simple Recipe towards Reducing Hallucination in Neural Surface Realisation”. Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (Association for Computational Linguistics): 2673–2679. doi:10.18653/v1/P19-1256. https://aclanthology.org/P19-1256.pdf 2023年1月15日閲覧。. 
  30. ^ Dziri, Nouha; Milton, Sivan; Yu, Mo; Zaiane, Osmar; Reddy, Siva (July 2022). “On the Origin of Hallucinations in Conversational Models: Is it the Datasets or the Models?”. Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (Association for Computational Linguistics). doi:10.18653/v1/2022.naacl-main.38. https://aclanthology.org/2022.naacl-main.387.pdf 2023年1月15日閲覧。. 

関連項目[編集]

「https://ja.wikipedia.org/w/index.php?title=ハルシネーション_(人工知能)&oldid=99148064」から取得