ハルシネーション（Hallucination）

概要

ハルシネーション（Hallucination, 幻覚）は、大規模言語モデルが 事実と異なる内容を、もっともらしく自信を持って生成してしまう 現象です。次単語予測という生成原理に由来し、LLM の実用化における最大級の課題の一つです。

なぜ起きるか

LLM は「正しさ」ではなく「もっともらしさ」を最適化して学習している（事前学習）
学習データに無い／曖昧な事柄でも、自信ありげに補完してしまう
確信度の表明が不正確（説明可能AI / 不確実性）

緩和策

RAG — 外部知識で生成をグラウンディング
不確実性の表明 — 確信度を出力させる、わからない場合は留保する
能力の自己評価・棄権（abstain） — 「解けない問題を解けると思い込まない」ようにする。過信は誤答の温床であり、自分の能力境界を把握して不確実なら答えを控える（メタ認知の CSA、ニューロシンボリックAI の AXIOM が代表）
検証・ガードレール — 出力を検査する（AIエージェントの安全性）
ハルシネーション信号の学習 — 内部表現からハルシネーションの兆候を検出する研究

実社会への影響

ハルシネーションは現実の業務でも問題を引き起こしています。報道では、AI のハルシネーションが見つかり担当者が処分された行政の事例もあり、人間による検証（Human-in-the-Loop）の重要性を示します。AI 生成の低品質コンテンツの氾濫（AIスロップ）とも関係します。

研究・事例（Daily フィード）

“Weakly Supervised Distillation of Hallucination Signals into Transformer Representations”
（HN）“Two Home Affairs officials suspended after AI ‘hallucinations’ found”

関連ページ