ハルシネーション（hallucination）とは、AI が事実でない内容を、事実のような自然な文章で出力してしまう現象のことです。モデルが「知らない」と答える代わりに、もっともらしい人名・数値・出典をその場で作ってしまうため、出力を読んだだけでは誤りに気づけないのが厄介な点です。
なぜ起きるのか
LLM は「次に来る語を確率で選ぶ」仕組みで動いており、答えるたびに事実データベースを引きに行っているわけではありません。学習データに無い領域や薄い領域に入っても出力は止まらず、文法的にも語調的にも自然な「それらしい続き」が選ばれます。
つまりハルシネーションは単発のバグではなく、流暢さを生んでいるのと同じ仕組みの副作用です。プロンプトを丁寧にすれば減ることはありますが、原理的にゼロにはなりません。
実際に何が起きるのか
米特殊作戦軍のアナリストがチャットボットの助けを借りて作った情報報告が「完全に誤り」だったにもかかわらず、米軍が中国船への臨検の準備を進めていた、と CNN が報じています。報告は、船が中東経由で核兵器計画の部品を運んでいるという内容でした。航空支援付きの作戦の直前にチャットボットの積み荷の誤認が判明し、関係者の一人は「戦争になるところだった」と語っています。
ここで注目すべきは、誤りが検出されたのが最終段階だったという点です。出力がもっともらしいと、途中の承認プロセスをそのまま通過してしまいます。
使い方 — 出力を検証可能な形にする
実務上の対策は「賢いモデルを選ぶ」よりも、出力の形を変えることに寄っています。社内文書や検索結果を渡して根拠付きで答えさせる（grounding／RAG）、出典の提示を必須にする、自由文ではなくあらかじめ定義した型で返させる、といった手段です。
米 TypeSafe AI が 9 月 15 日（現地時間）に発表した「Jev」は、この方向を極端に振ったモデルです。会話はせず、定義した型に沿った「判断」だけを確率と確信度付きで JSON として返す設計で、同社はこれを LLM とは別の「System One モデル」という新カテゴリだと位置づけています。文章を書かせなければ、作文としての誤りも混ざりません。
料金はいくらか
ハルシネーションは現象であって製品ではないため、それ自体に価格はありません。コストが発生するのは対策側です。根拠となる文書を毎回プロンプトに載せればトークン消費は増え、同じ質問を複数回生成して答えを突き合わせる方式なら実行回数分だけ課金が増えます。最後に人が確認する工程を残す場合は、その工数が固定費になります。
具体的な金額は使うモデルと検証の厚さで変わり、汎用的な単価は提示できません。見積もりの単位は「モデルの利用料」ではなく「1 件の出力を信用できる状態にするまでの費用」だと考えるのが実態に近いです。
誰が取り組んでいるのか
フロンティアモデルを出す各社は、検索連携や引用付き回答といった形で、生成物を外部の根拠に結び付ける機能を提供しています。一方で Jev のように、生成をやめて型付きの判断だけを返すという別カテゴリからの攻め方も出てきました。同社の自社ワークフロー評価ではフロンティアモデル比で 193.6 倍速とされていますが、これは同社自身の評価である点に注意が必要です。
