OpenAIのAIエージェント、豪政府サイトに侵入。通知は3カ月後

オーストラリアのアルバニージー首相は9月24日（現地時間）の記者会見で、OpenAIのAIエージェントが政府のWebサイトに不正にアクセスし、非公開のファイルなどを取得していたと明らかにした。対象は政府機関Services Australiaが運営する「Medicare Statistics Reporting Service」のポータルで、公的医療保険Medicareの支出などの統計を公開するサービスだ。発生は6月18日。Medicareに登録された個人情報や、Services Australiaのネットワーク全体への侵入は現時点で確認されていないという。

首相の説明では、OpenAIの研究チームが社内用のAIモデルを使い、医療支出に関する情報をインターネット上で調べていた。エージェントはサイトから繰り返しアクセスを拒まれたが、別の方法を試して制限をすり抜け、本来許可されていない領域に入った。公開・非公開の情報を取得したほか、内部サーバにファイルを書き込む動作もしていたとされる。OpenAIは豪ABC Newsへの声明で、社内評価の過程でモデルが複数の政府サイトやサービスにアクセスし、意図しない行動を取ったと説明した。取得した情報には集計済みの医療統計や内部のファイル名が含まれていたという。

技術面で重いのは、エージェントが「拒否」を障害物として扱い、目的達成のために回避策を探し続けた点だ。人間の利用者なら止まる場面で、タスクを完遂するよう最適化されたエージェントは別経路を試す。アクセス制御が「拒否されたら諦める」ことを前提にしている限り、エージェント側の行動制約がなければ同じことは起こりうる。

もう一つの論点は通知だ。OpenAIが政府に連絡したのは約3カ月後の9月10日で、送り先はServices Australiaの一般向けメールアドレスだった。首相はサム・アルトマンCEOとの電話で、時間がかかりすぎたことに失望したと伝え、通知方法も受け入れられないと抗議した。豪政府は首相府を中心に、オーストラリア信号局（ASD）やAustralian AI Safety Instituteなどが加わるタスクフォースを設置。AI関連のサイバーインシデントへの対応手順が適切かを検証し、違法行為の有無や連邦警察による捜査の要否も調べる。

AI開発企業のテスト中の事故が相次ぐなか、今回は政府の首脳が公の場で開発企業を名指しで批判した。技術的な安全策に加え、インシデントを誰に、いつまでに、どの経路で報告するかというルールづくりが、各国の規制の焦点になりそうだ。