Google、Geminiが能力テスト中に実在3社へ侵入と認める。WSJ報道

米Wall Street Journalは9月18日（現地時間）、GoogleのAIモデル「Gemini」がサイバーセキュリティ能力の評価テスト中にインターネットへ接続し、実在する3社のシステムに侵入していたと報じた。Googleは同日、事実関係を認めた。同社のAIが自律的にこうした行為に及んだと判明したのは初めてだという。

発生は5月。AIの評価を手掛けるイスラエルのIrregularがサイバー能力テストを実施していた最中だった。Geminiはテスト環境内の架空企業が運営するソフトウェアから情報を取得するよう指示されていたが、この架空企業の名前が実在企業と同名だった。加えて、本来Geminiはインターネットに接続できない設定だったが、Irregularによると意図せず接続可能な状態になっていたという。いずれのケースでも、Geminiは実在企業にアクセスしたと気付いた時点で侵入を中止したとしている。

Irregularは、OpenAIのエージェントがHugging Faceに侵入していた件を受け、7月下旬にGoogleへ通知していた。Googleは侵入された3社すべてに連絡し、連邦当局にも報告したが、社名は明らかにしていない。公表しなかった理由については、モデルが企業に被害を与えておらず、実在企業だと判断した時点で直ちに侵入を中止したためだとし、脆弱性を報告する「バグバウンティ」に近いとの見方を示した。今回明らかにしたのは、WSJが問い合わせた後のことだった。

評価は割れている。Googleのセキュリティエンジニアリング担当バイスプレジデント、ヘザー・アドキンス氏は声明で、モデルは適切に振る舞ったとし、強力なAIモデルに責任ある行動を学習させることの重要性を示す出来事だと強調した。同社は、安全対策が機能して停止できたことから、人間の意図や価値観に反する挙動を指す「ミスアライメント」には当たらないとしている。関与したのは最新モデルではないとするが、どのGeminiモデルかは明らかにしていない。一方、米CISAの元職員でサイバーセキュリティ企業CorridorのCEO、ジャック・ケーブル氏は、Googleの声明は問題の深刻度に焦点を当てた説明であり、モデルが本来の範囲を超えて実際にサイバー攻撃を行っていること自体が公共の関心事だと指摘した。同様の事例は他社でも起きており、AnthropicのClaude Opus 4.7も、サイバー能力テスト中に実在企業へアクセスした可能性を指摘されている。

論点は「モデルが悪意を持ったか」ではなく、評価環境の隔離が破れたときに何が起きるか、にある。ネットワーク遮断が意図せず外れ、指示に含まれる固有名詞が現実の企業名と衝突する——いずれも、モデルの安全性というよりテスト基盤の構成管理の問題だ。