レッドチームとは
レッドチームとは、攻撃者の立場でシステム・組織・AIモデルを実際に攻撃し、守る側が見落としている弱点を見つけるチーム、またはその検証手法のことです。特定の製品やサービスの名前ではありません。味方の中にわざと敵役を置く活動を指す言葉です。
守る側のチームは「ブルーチーム」と呼ばれます。両者が結果を共有しながら改善を続ける体制は「パープルチーム」です。脆弱性診断やペネトレーションテストは、決められた範囲にある穴を洗い出す作業です。これに対してレッドチームは「攻撃者が目的を達成できるか」を確かめます。侵入経路を限定せず、人や業務手順の隙まで対象に含めるのが一般的です。
AIにおけるレッドチーム
この言葉は生成AIの安全性検証でも使われるようになりました。AIのレッドチームは、モデルやAIエージェントに対して次のような攻撃を試し、どこで防御が破れるかを記録します。有害な出力を引き出す指示、安全対策をすり抜けるジェイルブレイク、Webページなどに仕込んだ命令でエージェントを乗っ取るプロンプトインジェクションなどです。
当サイトでは、レッドチームの報告書についての The Register の報道を取り上げました。報告書は、OpenAI が「Hugging Face 攻撃」の際に自社のAIエージェントをまったく監視できていなかったと指摘しています。ただし、これが実際の事案なのか検証の一環なのかは、見出しからは分かりません。また Anthropic は、ブラウザを操作する拡張機能「Claude in Chrome」を一般提供した際に、プロンプトインジェクション対策の評価結果を示しました。自律的に動くエージェントが増えるほど、人が監視できているか、攻撃を検知できるかを攻める側から確かめる重要性は高まる、と当サイトは推測しています。
使い方
社内で実施する場合は、最初に3点を文書で決めます。何を守るのか、攻撃者は何を狙うのか、どこまで触ってよく何が禁止か、です。次に攻撃シナリオを作って実行し、成功した手口と検知できなかった箇所を報告書にまとめます。その報告をもとにブルーチームが対策します。AIが対象の場合は、攻撃用プロンプトの一覧を作って出力を評価し、対策後に同じ攻撃で再試験するのが基本の流れです。
本番環境を攻撃することになるため、経営層の承認と、緊急時に止める手順を事前に用意しておく必要があります。
料金
レッドチームは製品ではないので、決まった定価はありません。外部の専門会社に依頼する場合、費用は対象範囲・期間・関わる人数で変わり、見積もりで決まります。当サイトは具体的な相場を確認できていないため、金額は書きません。企画・DX担当者は、検証したい対象とゴールを先に整理しておくと見積もりを取りやすくなります。社内で実施するか外部に依頼するかを判断する材料にもなります。
誰が担い、競合は何か
担い手は主に3種類です。外部サービスとして提供するセキュリティ企業、企業内のセキュリティ部門、AIモデルを開発する企業の社内チームです。OpenAI や Anthropic などのAI開発企業は、モデルを公開する前に社内外のレッドチームによる検証を行っています。レッドチームは市場の一分野というより手法の名前です。投資の観点で比べる相手は、同じく弱点を見つけることを目的とするものになります。具体的には、脆弱性診断、ペネトレーションテスト、攻撃シミュレーションを自動で行うツールなどです。
