Microsoftのナデラ氏、全AIモデルは「侵害済み」と想定すべきと発言

MicrosoftのCEO、サティア・ナデラ氏が「すべてのAIモデルは侵害されていると想定すべきだ」と発言したと、The Vergeが報じた。どの場での発言か、どのような質問への答えだったのかは、見出しからは分からない。

「侵害を前提にする」という考え方は、セキュリティの分野で「ゼロトラスト」や「assume breach（侵害を前提とする）」として広く使われてきた。ネットワークの内側だから安全、とは考えず、すべてのアクセスを検証し、侵入された場合でも被害を最小にする設計をとる。ナデラ氏の発言は、この考え方をAIモデルにも当てはめるべきだという意味とみられる。

AIモデルは、学習データへの不正なデータの混入や、入力文に命令を紛れ込ませるプロンプトインジェクションなどで、意図しない振る舞いをする可能性がある。AIエージェントが社内システムを操作する場面が増えれば、モデルの出力をそのまま実行に移すことのリスクは大きくなる。

大手AI事業者のトップがこうした前提を口にした点は、AIの安全対策を「モデルの品質」だけでなく「モデルの外側の仕組み」で担保する方向に議論が向かっていることを示すとみられる。詳細は出典を参照してほしい。