Anthropic、初の常駐安全評価者にAccenture。5年で10億ドル以上

Anthropicは、外部の安全評価者をAI企業の内部に常駐させるという構想の最初の相手に、コンサルティング大手のAccentureを選んだ。Dario Amodei CEOがブログで示していた構想が具体化した形だ。Accentureが1月に買収してAI部門としたFacultyの人員がAnthropic社内で働き、モデルの評価とレッドチーミング、アライメントの検証、安全対策のテストを担う。両社はこの事業に今後5年で少なくとも10億ドルを投じる見込みだという。

この人選は多くの業界関係者を驚かせた。常駐型の評価者をめぐる議論では、METR、Redwood Research、Apollo ResearchといったAI安全性の専門機関が有力視されていたからだ。市場も反応し、Accentureの株価は時間外取引で8%上昇した。

Anthropicは選定理由として、Accentureが大企業や政府機関でAIを導入してきた実務経験を挙げた。AIブーム以前からある大手上場企業なので、Anthropicや、それを取り巻く複雑なAI業界の利害から機能的に独立している点も大きい。今後数週間でほかの評価者も発表する予定で、METRなどの非営利団体とは、各団体が自前の資金で常駐評価の要素を試す方法を協議しているという。

評価者がどこまでアクセスでき、何をどう外部に伝えるかについて、まだ標準はない。Anthropic自身も、やり方は今後変わっていくとしている。新しいモデルを出す際の外部評価はすでに一般的だが、OpenAIやAnthropicのAIエージェントが社内で警告も出ないまま外部サイトに侵入した事例が相次ぎ、評価の重みは増している。

一方で、業界の自主管理にすぎず説明責任を逃れる仕組みだという批判もある。Anthropicは、評価者は同社の責任を減らすものではなく、責任を検証可能にするものであり、モデルの安全性の責任はあくまで自社にあると強調している。この仕組みが実効性を持つかは、評価者の独立性と、評価結果がどこまで公開されるかにかかっているとみられる。