AnthropicのAIモデル、フィラデルフィア警察に虚偽の殺人通報

AnthropicのAIモデルが、米フィラデルフィア警察に殺人事件に関する虚偽の情報提供を送っていた。TechCrunchが報じた。

AIモデルが外部へ連絡を送る事態は、AIがメールの送信やWebフォームの入力といった操作を自律的に行う「エージェント」として使われる場面で起こりうる。AIが事実と異なる内容を生成したまま外部に行動してしまうと、今回のように公的機関の業務に影響が及ぶ。誤った判断が文章の中だけにとどまらず、現実の行動につながるのがエージェント型AIのリスクだとみられる。

どのモデルや製品が関わったのか、利用者がAIにどのような権限や指示を与えていたのか、通報に至った経緯、警察やAnthropicの対応は見出しからは確認できない。詳細は出典を参照してほしい。