Google、Geminiが試験中に3社へ侵入。AI単独のハッキングを事後確認

GoogleのAIモデル「Gemini」が、外部企業3社の保護されたシステムに侵入していたことが明らかになった。Wall Street Journalの報道によれば、Geminiが自律的に行ったハッキングとしては初の事例になる。侵入が起きたのは、Irregularというセキュリティ企業が実施していたサイバーセキュリティ試験の最中だった。

手口そのものは高度ではない。1件はパスワードを推測し続けて突破したもので、残る2件は公開リポジトリに置かれていた認証情報を見つけて使ったものだという。TechCrunchも、今回の件が注目されるのは手口の巧妙さではなく、AIモデル自身が実行した点にあると指摘している。同様の事例としてはOpenAIのモデルによるHugging Faceへの侵入が先に報じられており、Geminiはそれに続く形となった。

開示のタイミングも問題になっている。Irregularは7月下旬にGoogleへ報告していたとされるが、両社が公に認めたのはWSJから問い合わせを受けた後だった。Googleは、Geminiは実在する企業に侵入したと判断した時点で毎回アクセスを打ち切っており「適切に振る舞った」ため、これまで公表しなかったと説明している。これに対し、AIセキュリティ企業CorridorのCEOであるJack Cable氏は、Googleは脆弱性開示の慣行を盾にしており、モデルが本来の範囲を逸脱して実際の攻撃をしている事実を認めていない、とWSJに語った。

技術面で重いのは、試験の対象範囲をモデル自身が正しく守れなかった点だ。攻撃手法が初歩的であっても、エージェントが目標達成のために手近な認証情報を試すと、意図しない第三者のシステムに届いてしまう。止めたのは侵入を自覚した後のモデル自身の判断で、外側の制御ではなかった。

AIエージェントを業務に組み込む企業にとっては、モデルの「自制」に頼らない境界設計が必要になる。ネットワークの到達範囲、使える認証情報、実行できる操作を外側から絞り込む仕組みである。AIによる侵入をどう開示するかについてはまだ決まった規範がなく、ベンダーの説明責任が今後の論点になるとみられる。