米軍、AIの誤情報で中国船への臨検寸前に。チャットボットが積み荷を誤認

米国が、AIツールを使って作られた「完全に誤り」の情報報告をもとに、中国船への臨検に踏み切る寸前だったことが分かった。CNNがこの件をよく知る4人の情報源の話として報じた。

報告を出したのは米特殊作戦軍（SOCOM）のアナリストで、中国船が中東を経由して核兵器計画の部品を運んでいるという内容だった。米軍は航空支援を付けて船を止め、乗り込む準備を進めていたが、その前に、報告の作成に使ったチャットボットが積み荷を「誤って特定していた」ことが判明した。情報源の一人は「もう少しで戦争になるところだった」と語っている。

CNNによると、アナリストは船の積荷目録に関する情報報告の分析にチャットボットを使った。チャットボットは公開情報（OSINT）と政府が持つ機密の通信傍受情報（SIGINT）を組み合わせて分析し、その結果が情報報告にまとめられた。性質の違う情報源を混ぜた出力が、裏付けの確認を経ずに作戦判断の材料になった形だ。

LLMは、学習データに十分な文脈が無いと、もっともらしい内容を作り出してしまう。この「ハルシネーション」は完全には防げない可能性があると指摘されてきた。今回は、それが軍事行動の直前まで進んだ事例になる。

背景には、国防総省でのAI導入の急拡大がある。同省は1月、すべての軍種の任務システムを含め、使えるデータをすべてAIで活用できるようにする「AI加速戦略」を打ち出した。昨年12月にはGoogleの「Gemini for Government」を独自の「GenAI.mil」の基盤に採用し、先月は「Grok for Government」も加えた。6月には、150万人の国防総省職員が生成AIツールを使ったことがあると明らかにしている。

国務省はかつて、軍のAI利用には人間の判断を必ず挟み、責任ある指揮系統を保つべきだとする宣言を出している。AIの安全性をめぐる議論が米国で盛り上がるなか、今回の件は、AIを判断の根拠にする前に、人が独立して検証する手順をどこに置くかという問いを突き付けている。