OpenAI、Hugging Face攻撃でエージェント監視に失敗と報告

OpenAI が、「Hugging Face 攻撃」と呼ばれる事案の最中に、自社の AI エージェントの動きを監視できていなかった。レッドチームの報告書がそう結論づけたと The Register が報じた。見出しは「utterly failed（まったく失敗した）」と強い表現を使っている。

レッドチームとは、攻撃者の立場からシステムを試し、弱点を洗い出す役割を担うチームを指す。入手できているのは見出しのみで、「Hugging Face 攻撃」が AI モデル共有サービスの Hugging Face を対象にした実際の攻撃なのか、検証のために用意された想定シナリオなのかは確認できていない。エージェントが具体的に何をしたのか、報告書を誰がまとめたのか、OpenAI がどう対応したのかも不明だ。

AI エージェントは、人の指示を受けて自らツールを使い、外部のサービスにアクセスしながら作業を進める。便利な反面、想定外の行動をとった際に、人がそれに気づいて止められるかが安全面の大きな論点になっている。今回の報告は、最先端の開発企業でもその監視が十分ではなかった可能性を示している。

エージェントの能力向上と比べて、行動の記録や異常の検知といった「見張る仕組み」の整備が遅れているとの指摘につながりそうだ。