用語解説 じょうりゅうこうげき

蒸留攻撃とは

蒸留攻撃とは、他社AIモデルの出力を大量に集めて別モデルの学習に使い、低いコストで同等の能力を得ようとする手法。製品ではないので料金はない。仕組み、Anthropicの対策発表、米中の対立を整理する。

蒸留攻撃とは、AIモデルに大量の質問を送って出力を集め、それを別のモデルの学習データに使うことで、元のモデルに近い能力を低いコストで手に入れようとする手法です。製品やサービスの名前ではなく、AI企業が「防ぐ対象」として使う言葉です。そのため、ツールとしての「使い方」や「料金」はありません。

蒸留攻撃とは:本来の「蒸留」との違い

「蒸留(distillation)」は、大きなモデルの出力を手本にして別のモデルを学習させる、機械学習の正規の技術です。自社のモデル同士で行うぶんには問題ありません。

「攻撃」と呼ばれるのは、他社のモデルの出力を許可なく大量に集め、自社モデルの学習に流用する場合です。開発元が多額の費用をかけて作った能力を、出力を集めるコストだけで写し取れます。米国の政府とAI企業が警戒しているのはこの点です。

どうやって行われるのか(エンジニア向け)

基本の流れは次のとおりです。まず、APIや画面からモデルに大量の入力を送ります。次に、返ってきた入力と出力の組をデータセットにまとめ、別のモデルを学習させます。

当サイトの報道で確認できている手口には、正規アカウントの会話ログを買い取るものもあります。この場合、データを集めているのは普通の利用者なので、アカウント単位で不審な利用を止める対策ではすり抜けられてしまいます。完全に防ぐのは難しいのが現状です。

対策:Anthropicは抽出を90〜99%削減と発表

Anthropicは、蒸留攻撃に効果的な対策を見つけたと発表しました。敵対的な組織によるデータの抽出を90〜99%削減できたとしています。ただし、どのような仕組みで検知・抑止しているのかは、当サイトが確認できた材料からは分かっていません。他社が同じ対策を使えるのか、有償で提供されるのかも不明です。

料金・競合は? 事業会社と投資家が押さえる点

事業会社の企画・DX担当にとって、蒸留攻撃は導入するものではなく、理解しておくべきリスクです。他社のAIの出力を自社モデルの学習に使う計画があるなら、提供元の利用規約で許されているかを事前に確認してください。

投資家にとっては、特定の企業が作る製品ではなく、地政学的な論点です。米国側は、中国やロシアが米国のモデルの出力を使って低いコストで同等の能力を得ることを警戒しています。中国は疑惑を否定したうえで、米国がこれを口実に自国のAIを封じ込めるなら対抗措置をとると表明しました。9月24日の米中首脳会談で議題になる可能性があると報じられていましたが、実際にどう扱われたかは本記事の材料では確認できていません。

ここからは筆者の推測です。蒸留を防げるかどうかは、開発元の競争優位を守れるかどうかに直結します。そのため、今後は防御技術の有無がAI企業を評価するときの材料の一つになる可能性があります。

蒸留攻撃に関する記事

2 件