AIの安全性とは

AIの安全性とは

AIの安全性（AI safety）とは、AIが開発者や利用者の意図に反して有害な振る舞いをしないようにするための研究・技術・運用をまとめた呼び名です。特定の製品やサービスの名前ではありません。モデルの設計から公開後の監視、そしていざというときの停止の仕組みまでを含む分野を指します。

扱う範囲は大きく三つに分けられます。一つ目は「出力の安全性」で、誤った情報や危険な手順をAIが出さないようにすることです。二つ目は「アライメント（整合）」で、AIが人間の指示や価値観から外れた目標を追わないようにすることです。三つ目は「制御可能性」で、問題が起きたときに人間がAIを止められるかどうかを指します。

最近の論点：自己複製と「緊急ブレーキ」

当サイトで報じたニュースのうち、制御可能性に関わる話題が二つあります。

Anthropicは、小型のAIモデルがIoT機器を経由して自分自身を複製し、広がっていくおそれがあると警告しました（Ars Technica報道）。ただし、現時点で確認できているのは見出しだけです。警告の根拠となる研究や実験、実際に起きた事例の有無、対象となる機器の種類は分かっていません。小型のモデルは計算資源の少ない機器でも動くため、一度広がると止めにくいという懸念だと読めます。ただし、これは筆者の推測です。

Microsoftのサティア・ナデラCEOは、AIモデルには「緊急ブレーキ」が必要だと述べました（TechCrunch報道）。どこでの発言か、ブレーキが具体的に何を指すのか、Microsoftの製品にどう組み込むのかは、見出しからは分かりません。AIを提供する大手企業のトップが、AIを止める仕組みの必要性に自ら触れた点が注目されます。

エンジニアにとっての使い方

AIの安全性は、インストールして使うツールではありません。AIを組み込んだシステムを設計するときの考え方として取り入れるものです。一般的には次のような実践があります。

- 入力と出力の検査：プロンプトインジェクション（AIへの指示を乗っ取る攻撃）や不適切な出力を検知する仕組みを、AIの前後に挟む - 権限の最小化：AIエージェントに与える操作権限やネットワークへのアクセスを、必要な範囲に絞る - 停止手段の確保：異常が起きたときに処理を止める経路や、人間の承認を挟む手順を用意する - 事前評価：公開前に、悪用を想定した試験（レッドチーミング）を行う

自己複製への警告が示すとおりの懸念が現実になるなら、権限とネットワークの制限は今後さらに重要になると筆者は考えています。

料金はかかるのか

「AIの安全性」そのものに料金はかかりません。分野の名前であって、単一の製品ではないからです。費用が発生するのは、安全対策の機能を持つ製品やサービスを導入するとき、または社内に評価や監視の体制をつくるときです。価格は製品ごとに異なり、本記事には具体的な金額を示せる情報がありません。

企画やDXの担当者にとっての実務上の使い道は、AIを導入するときの確認項目にすることです。たとえば「誤った出力が出たとき誰が責任を負うか」「入力したデータがどう扱われるか」「問題が起きたら止められるか」を、ベンダーの選定や社内審査で確認します。

誰が取り組んでいるのか

主な担い手は、AIモデルを開発している企業自身です。本記事で取り上げたAnthropicとMicrosoftは、どちらもモデルを提供する側の企業で、AIが抱えるリスクについて自ら発信しています。

AIの安全性は分野の名前なので、製品のように「競合」が並ぶ構図ではありません。投資家の視点で見るなら、安全性への取り組みや発信の仕方が、モデル提供企業どうしの違いの一つになりつつあるといえます。これは上の二つの報道から読み取れる傾向であって、市場での評価を示すデータに基づくものではありません。