Anthropic、社内の評価環境をインターネットから切り離しへ

Anthropicが、社内で行っているAIモデルの評価をインターネットから切り離していると、The Vergeが報じた。どの評価が対象で、いつから、どのような方法で切り離すのかは、見出しからは分からない。

AI企業は新しいモデルを公開する前に、能力や安全性を確かめる評価を行う。評価用の問題や答えがインターネット上に出回ると、モデルが学習段階でそれを覚えてしまい、本来の能力より高い点数が出る「データ汚染」が起こりうる。また、エージェントとして動く高性能なモデルを試す場合、評価中のモデルが外部のシステムに働きかけるリスクも考えられる。今回の措置は、こうした問題への対策とみられるが、Anthropicが挙げた理由は見出しからは確認できない。

評価の信頼性と、評価そのものの安全性をどう確保するかは、AIの開発競争が進むなかで重みを増している論点だ。詳細は出典を参照してほしい。