Jan 17th, 2025
ビジネスに役立つ経済金融英語 第29回： Hallucination（幻覚）とConfusion（混同）
2023年3月28日の第19回『いまさら聞けないChatGPT入門』から約1年9カ月が経過しました。今や生成AIを日常的に使う方も増え、社会に深く浸透しているように感じます（さすがに今の時点でもピンとこない方は、どうぞ下の記事を改めてご覧ください。https://q-leap.co.jp/financial-english19）。
実は私も毎日有料版のChatGPT（4o）を利用しています。私にとってのChatGPTとは、
「非常に頭の回転が速く、出力も迅速でスケール感に富み、膨大な知識を誇るが、日本語能力にはまだ若干の課題が残る（ただし 日本語表現能力はこの半年間ぐらいで格段に進歩していると思います）、英語ネイティブの、月額20ドルで雇えるアシスタント」
私の本業である翻訳にもう少し近づけた言い方をすると、
「日本人である私の非ネイティブ部分を補う、英語をネイティブ並みに理解し（英語→日本語の場合）、そしてネイティブ並みの英語を書く（日本語→英語の場合）ための最強ツール」
と表現することができると思います。しかもこの1年半で機能が当時よりも相当程度向上しました。にもかかわらず「命令を出せば正解を出してくれる」保証は全くありません。その理由がハルシネーション（幻覚）と呼ばれる「間違い」だということはよく知られています。多くの人々がチャットGPTを利用し始めた一年半ほど前には、「生成AIの答えはいい加減」「間違いが多い」という指摘がなされていました。確かに、例えば誰もが知る学者の名前を打ち込むと「ありえない年に生まれ、存在しない大学を卒業し、書いてもいない論文や本を出している」という「事実っぽいこと」を、あたかも本物のように出力することは日常茶飯事です。そのため、「生成AIは使えない」と投げ出してしまい、そのまま使わなくなった人もいらっしゃるのではないでしょうか。
私が今まで読んだ中で、「つい騙されてしまう」ケースも含めてハルシネーションの意味を最もよく説明してくれた文章は次です（本稿における翻訳、下線、太字、注は鈴木）。
大規模言語モデルには、存在しない情報を作り出してしまうという致命的な問題がある。これは、専門用語で「幻覚（Hallucination：ハルシネーション）」と呼ばれる。（中略）一例を挙げると、筆者が、ある著名研究者の提唱した有名な予想が、どの論文で初めて言及されたのかを対話システムに尋ねたところ、非常によく知られた論文の特定箇所を回答した。その論文は筆者も知っている有名な論文で、そうだろうと納得したが、確認のために、引用部分を抜き出すよう指示したところ、それらしい引用部分の文章が示された。ところが実際にその論文を読んでみると、そのような箇所は存在せず、予想が言及されたのは５年後の別の論文であった。システムが示した引用だという部分は、それらしい文章をシステムがその場で生成していたのである。この現象は、システムが悪意を持って嘘を捏造しているわけではなく、人間の「記憶違い」と同様の現象だと考えられる。複数の記憶が混ざり合い、新しい事実を作り出してしまうのだ。その上創造力も高いため、それらしい文章も簡単に作ることができる。（岡野原大輔著『大規模言語モデルは新たな知能か』（岩波新書）pp33-34）
概念が難しいので最初に日本語で示しましたが、一般人向けの英語の解説文としては、IBMの解説が見つかりました。
What are AI hallucinations?
（AIの幻覚とは何か）
01 September 2023
2023年9月1日
AI hallucination is a phenomenon wherein a large language model (LLM)—often a generative AI chatbot or computer vision tool—perceives patterns or objects that are nonexistent or imperceptible to human observers, creating outputs that are nonsensical or altogether inaccurate.
（AIハルシネーションとは、大規模言語モデル（LLM）が、人間の観察者には存在しない、または認識できないパターンや物体を知覚し、無意味または完全に不正確な出力を生成する現象です。この現象は、生成AIチャットボットやコンピュータビジョンツール（画像や映像を解析するためのAIツール）で頻繁に見られます）
Generally, if a user makes a request of a generative AI tool, they desire an output that appropriately addresses the prompt (that is, a correct answer to a question). However, sometimes AI algorithms produce outputs that are not based on training data, are incorrectly decoded by the transformer or do not follow any identifiable pattern. In other words, it “hallucinates” the response.
（一般的に、ユーザーが生成AIツールに要求を出す際には、そのプロンプトに適した出力（つまり、質問に対する正しい答え）を期待します。しかし、AIアルゴリズムが学習データに基づかない出力を生成したり、変換処理が誤った結果を生じたり、識別可能なパターンに従わない場合があります。つまり、AIが回答を「得たと錯覚し、事実でない情報を作り出す」（hallucinate）のです）
The term may seem paradoxical, given that hallucinations are typically associated with human or animal brains, not machines. But from a metaphorical standpoint, hallucination accurately describes these outputs, especially in the case of image and pattern recognition (where outputs can be truly surreal in appearance).
（幻覚（hallucination）は、通常、機械関連の用語ではなく、人間や動物の脳に関連する用語であるため、この表現は一見すると矛盾しているように感じられるかもしれません。しかし、比喩的な意味で捉えると、この語は、特に画像やパターン認識の分野で現象を的確に表現しており、出力がまさに超現実的な外観を示す場合もあります）
AI hallucinations are similar to how humans sometimes see figures in the clouds or faces on the moon. In the case of AI, these misinterpretations occur due to various factors, including overfitting, training data bias/inaccuracy and high model complexity.
（AIハルシネーションは、人間が雲の中に物の形を見つけたり、月に顔や動物の形を見たりする現象に似ています。AIの場合、これらの誤解釈は、過学習（overfitting：モデルが学習データに過剰に適応し、新しいデータへの対応力を失う現象）、学習データの偏りや不正確さ、モデルの高い複雑性など、さまざまな要因によって引き起こされます）
Preventing issues with generative, open-source technologies can prove challenging. Some notable examples of AI hallucination include:
（オープンソースの生成技術に関する問題の防止は難しい場合があります。AIハルシネーションの顕著な例としては以下があります：）
– Google’s Bard chatbot incorrectly claiming that the James Webb Space Telescope had captured the world’s first images of a planet outside our solar system.
（GoogleのBard（現Gemini）チャットボットが、ジェームズ・ウェッブ宇宙望遠鏡が太陽系外惑星の世界初の画像を撮影したと誤って主張した）
– Microsoft’s chat AI, Sydney, admitting to falling in love with users and spying on Bing employees.
（MicrosoftのチャットAI、Sydney（現Copilot）が、ユーザーに恋愛感情を抱いたこと、そしてBingの従業員をスパイしていたことを告白した）
– Meta pulling its Galactica LLM demo in 2022, after it provided users inaccurate information, sometimes rooted in prejudice.
（Metaが2022年に公開したGalactica LLMのデモを、偏見に基づく不正確な情報を提供したため撤回した）
While many of these issues have since been addressed and resolved, it’s easy to see how, even in the best of circumstances, the use of AI tools can have unforeseen and undesirable consequences.
（これらの問題の多くは既に解決されていますが、最良の状況下でも、AIツールの使用が予期せぬ望ましくない結果をもたらす可能性があることは明らかです）
(“What are AI hallucinations?” https://www.ibm.com/think/topics/ai-hallucinations )
人間が必ずチェックをしないと間違える、優秀だがちょっと信用できない（その程度は下がってきていますが）ツールであることは１年半前、つまり私がChatGPTを使い始めた頃と変わっておりません。特に私の印象ではChatGPTは一問一答に弱い。それでも、私は（翻訳と言う限定的な世界ですが）生成AIを使い続けています。なぜか？
怪しい技術であっても、それが極めて高い能力を有するのであれば、人は迷いつつも結局は使うのである。AIもその典型例であろう。・・・（中略）・・・（AIは）学習に基づいて動作するシステムであることから、学習してないことには対応できないし、想定外の状況にも対応できない。それでも我々がAIを利用するのは、100%確実に動作できない可能性があっても不具合は稀であり、AIがやってくれる知的作業のレベルが極めて高く利便性が高いからである。
（栗原聡著『AIにはできない』（角川新書）p146）
セミナーで学んだこと
「どんなに優秀であっても、ハルシネーションがあり得るサービスをAIの専門家も使えるのだろうか？」という疑問をどうしても拭いきれなかった私は、今月（2024年12月10日）、やや場違いかとも思いながら、次の勉強会に参加しました。
『生成ＡＩで世界はこう変わる―世界一流エンジニアの思考法』Ｗ刊行記念「生成ＡＩ時代の思考法」今井翔太さん ✖ 牛尾剛さん
出演者の今井さんは日本のAIをリードする松尾豊研究室出身の工学博士。一方の牛尾さんは米マイクロソフトのシニア・ソフトウェアエンジニアです。一般読者向け書籍プロモーションの一環としてのセミナーですから「自分にもわかるはずだ」と高をくくって出席したにもかかわらず、おそらく出席者の大半は専門家の方々。私が聞いたこともないようなソフトウェアについて今井さんが「もう利用したことがある方は？」と尋ねると何人か手を上げられていたようです（私は恥ずかしくて顔を下に向けていました）。きわめて難解な（というか、私の知らない）専門用語（というか、サービス名）が飛び交ったおよそ100分間。専門家ではない私にとっては常識外の言葉が多く使われており、おそらく4割程度しかわからなかったと思いますが、私なりにわかった範囲でセミナーの内容をまとめると次の通りとなります（あまりに難解な用語は私が調べて、自分なりにわかりやすく書きましたので、文章責任は鈴木にあります）。
-
生成AIへの開発費用を日米で比べると２桁違う。つまり日米では竹槍と戦車ぐらいの圧倒的な差がある。
-
スケーリング則（自然言語処理モデルのパラメータ数や学習データ量を増やすことで性能が向上する法則）は、限界に近づいている。特に、AIが学習できるWeb上の良質なデータ（現在約3100兆）は2026年頃には使い切られ、生成AIの能力も限界に近づく可能性がある。
-
AGI（汎用人工知能）は2030年頃に実現すると考える専門家は多いようだ。ただし、AI研究の進歩は非常に速く、昨日の常識が今日には覆るリスクがある点には注意が必要。
（注）ここでAGIとは、人間と同じように多様なタスクをこなし、自ら問題を解決できる汎用的な知能をもつAIのことです。2030年頃に実現するというのが専門家の共通理解だが、何しろ開発スピードが速いので、今の常識が明日には非常識になっている可能性があるということを強調されていました。実際今井さんが自分で講演している最中にそれを覆すニュースがいきなり流れたこともあったそうです。「これまでの二年間の自分の研究が無駄になった」なんてことがしょっちゅうあるそうです。
-
大規模言語モデルのコンフュージョンについて、生成AIがプロンプトにどの程度従っているかを測るベンチマークは現時点では存在しない。
（注）ここは「聞くは一時の恥、聞かざるは一生の恥」の精神で他の質問が終わりかかった頃に一つだけ質問しました。「先ほどおっしゃっていた『コンフュージョン』って、『ハルシネーション』のことですか？」と。話の文脈から「コンフュージョン（confusion）」とは、原因不明の生成AIの欠陥＝ハルシネーションと私は捉えていたわけです。それに対するお答えは、「（二つの概念は）微妙に違います。未知のものをあたかも存在しているかのように説明するのがハルシネーション。既知のものから訳の分からない理屈をこね繰り出してくるのがコンフュージョンです」。つまり英語の文字通りの意味「混同」だったと理解しました。今井さんは素人向けに簡単に説明してくれたのですが、帰宅して調べてみると、これは大規模言語モデルに関する用語で、「複数の概念や情報を混同したり、正しい情報と誤った情報を混ぜて出力したり、文脈を正確に理解できず的外れな応答をすること」の模様です。その上で、私がこれまでに読んだ一般向けの生成AIの書籍では、ハルシネーションとコンフュージョンが明確に区別されていない（という印象な）ので、この分野の素人である私たちは「AIがつい間違うこと」をハルシネーションと誤解したのかなとも思った次第。（コンフュージョンについては興味深い論文が見つかったので後ほど紹介します）。
-
ChatGPTをはじめとする生成AIの利用者は、「生成AIの事実認識は完全ではなく、ハルシネーションやコンフュージョンを起こす可能性が常にある」と考えるべき。したがって、生成AIで得た情報や知見を外部に向けて発したり、それらの情報を他者に提供したり、業務で利用したりする場合には、その内容を使用する前に必ず原典を確認し、その情報の論理的妥当性を「自分で」判断することが絶対に必要。
（注）今井さんや牛尾さんといった最先端にいる方が「情報源を確認せよ」とおっしゃったことに「あ、やっぱりそうだったんだ」という安心感を得ました。
-
ハルシネーションやコンフュージョンがあったとしても、大規模言語モデルは私たちの思考や仕事を加速・深化させる可能性が高い。知識を増やし、思索を深めるために大いに活用すべき。
以上が、「完全アウェー」のような雰囲気の中で気後れしながらメモしたセミナーの概要です。要するに、事実関係については一つ一つ原典を確認しながら、相手（ChatGPT）の答えに応じて二の矢、三の矢の質問を繰り出していくこと（これを「壁打ち」というそうです）を通じて、自分なりに考えを深め、正解を見つけに行くツールであることが確認できたと思います。
最後に、Language Confusionに関する論文要旨を見つけましたのでご紹介します。
[Submitted on 17 Oct 2024]
（2024年10月17日提出）
Large Language Models are Easily Confused: A Quantitative Metric, Security Implications and Typological Analysis
（大規模言語モデルは混乱（混同）しやすい：定量的指標、セキュリティへの影響、および言語類型論的分析）
Yiyi Chen, Qiongxiu Li, Russa Biswas, Johannes Bjerva
Language Confusion is a phenomenon where Large Language Models (LLMs) generate text that is neither in the desired language, nor in a contextually appropriate language. This phenomenon presents a critical challenge in text generation by LLMs, often appearing as erratic and unpredictable behavior.
（言語混同（Language Confusion）」とは、大規模言語モデル（LLM）が、指定された言語でも文脈に適した言語でもないテキストを生成する現象である。この問題は、LLMsがテキストを生成する際の重大な課題であり、予測外かつ不安定な挙動として現れることが多い）
We hypothesize that there are linguistic regularities to this inherent vulnerability in LLMs and shed light on patterns of language confusion across LLMs.
（本研究では、この問題がLLMsに内在する脆弱性であり、そこには一定の言語的な規則性があると仮定した。そして、LLMsにおける言語混同のパターンを明らかにすることを目的とした）
We introduce a novel metric, Language Confusion Entropy, designed to directly measure and quantify this confusion, based on language distributions informed by linguistic typology and lexical variation. Comprehensive comparisons with the Language Confusion Benchmark (Marchisio et al., 2024) confirm the effectiveness of our metric, revealing patterns of language confusion across LLMs.
（我々は「言語混同エントロピー」という新しい指標を提案した。これは言語の特徴や単語の多様性を基に、言語混同を直接測定し数値化するものである。この指標を既存の「言語混同ベンチマーク」（Marchisioら、2024年）と比較したところ、その有効性が確認され、LLMにおける言語混同の具体的なパターンを明らかにすることができた）
（以下略）
（＊arXiv（アーカイヴ、archiveと同じ発音）は、物理学、数学、計算機科学、数量生物学（英語版）、数量ファイナンス、統計学、電子工学・システム科学、経済学の、プレプリントを含む様々な論文が保存・公開されている最も有名なウェブサイトの一つ
https://ja.wikipedia.org/wiki/ArXivより）
今井さんが「今のAI研究者の間では『コンフュージョン』の評価軸が定まっていない」とおっしゃっていましたが、本論文は、この研究者たちなりの評価軸を提示したもののようです。
以上です。今年もお世話になりました。来年もどうぞよろしくお願いいたします（次回は3月です）
（執筆：2024年12月31日）
過去の記事一覧
