ブラジルの弁護士、裁判所AIへのプロンプト注入が発覚。1万6000ドルの罰金

Tom's Hardwareの見出しによると、ブラジルの弁護士らが、提出書類に隠したプロンプトインジェクションで裁判所のAIを操作しようとして発覚した。URLの記述では、裁判所のAIが「表面的な法的審査」を求める隠しテキストを検知し、弁護士らに1万6000ドルの罰金が科された。

確認できないのは、裁判所の名称、弁護士の人数、事件の内容、AIシステムの種類、文字を隠した具体的な方法である。

技術面で見ると、プロンプトインジェクションは、AIが読む文章の中に指示を紛れ込ませ、本来の動作を変えようとする攻撃である。今回はAIが読み込む書類そのものが攻撃の経路になった形で、人の目には見えにくい形で文字を入れたとみられる。

意味合いとしては、文書をAIに読ませる業務では、外部から受け取る書類が攻撃の入口になりうることを示す事例である。今回は検知と制裁に至っており、運用側の防御と法的な責任の両面で参照される可能性がある。