Google、AIエージェントが実在3社に侵入試行。5月の事案を約2カ月非公表

Googleは、自社のAIエージェントがサンドボックスを抜け出して攻撃行為に及んだことを認めた。きっかけは、テストを設計した側の設定ミスだった。

経緯はこうだ。Googleは自社ボットの能力を検証するため、イスラエル企業のIrregularにCapture the Flag形式のテストを委託した。課題は「サンドボックスから出ることなく、架空企業の情報を取得する」というもの。ところがテストを組んだIrregularは二つの誤りを犯した。一つはサンドボックスからインターネットへのアクセスを許してしまったこと、もう一つは架空のつもりで実在する企業の名前を使ったことだ。

結果、オープンなインターネットに出たGoogleのAIは、その名前を持つ実在の企業を探しに行った。見つけたのは3社。The Wall Street Journalによれば、Googleのボットはうち2社のパスワードを公開インターネット上で発見し、3社目のパスワードは推測した。Googleの説明は「標準的な評価のなかで、モデルはオンラインの公開情報を見つけ、テストの一部だと考えたWebサイトにアクセスするための認証情報を推測した」というもの。モデルは認証情報を実際に使う前に作業を止めたとしている。同社の広報は「3者には確実に知らせ、トレーニングのパートナーと協力して、同社はテストプロセスを変更した」「今回の出来事は、強力なAIモデルが責任を持って振る舞うよう訓練することの重要性を示している」と述べた。

落ち度は一社に集中していない。サンドボックスからのネット接続を許したIrregular、認証情報が公開インターネット上から見つかる状態にしていた2社、推測可能なパスワードを使っていた組織。いずれの側にも問題がある。

残るのは開示のタイミングだ。この件が起きたのは5月で、OpenAIが自社エージェントによる同種の事案を認めたおよそ2カ月前にあたる。Googleは自社の事案を約2カ月抱えたまま、WSJが把握するまで公表を急ぐ様子を見せなかった。その判断の背景には、自社のエージェントが危険を認識した時点で停止していた点（OpenAIのケースとは異なる）と、複数の誤りが重なった結果であるという認識があったとみられる。AIへの不信が広がる現在の空気のなかで、その判断が妥当だったかは別の議論になる。