Vals、a16z主導で調達。非公開ベンチマークでAIの実務能力を測る

AIベンチマークのスタートアップValsが、Andreessen Horowitz主導のシリーズAを先月実施した。同社は昨年、8VCとBloomberg Betaが主導するシードラウンドを調達しており、創業から2年足らずで存在感を高めている。共同創業者のRayan Krishnan氏は25歳。Palantirでのインターンを経て、スタンフォード大学在学中にMicrosoftと同大のAI研究所で働いた。

同社の問題意識は、ベンチマークが測る対象の進歩に追いついていない点にある。「非常に高性能な新しいモデルが次々に市場に出てくるのに、学術的なベンチマークがその最前線の進歩に追いついていなかった」とKrishnan氏は言う。ベンチマークは本来、企業が宣伝する通りの働きをモデルが実際にできるのかを検証するために存在すべきだ、というのが同氏の立場だ。良いベンチマークの結果は、そのまま良いPRになる。だからこそ、企業側は既存のベンチマークを出し抜く方法も見つけてきた。

Valsの差別化は二点ある。ひとつは、テスト内容を公開しないこと。公開されていれば、企業はそのテストに向けてモデルを学習させられる。もうひとつは、一般知識ではなく法律、金融、コーディングといった特定業界の複雑なタスク遂行能力を測ること。「モデルの実際の影響を見ている。あらゆる領域で、人間と同じ品質の成果物を出す仕事ができるのか」とKrishnan氏は説明する。評価は良い結果だけでなく、「これらのモデルが世に放たれたときの負の影響」の分析にも及ぶという。測定領域は広がり、再帰的自己改善のほか、メンタルヘルス、サイバーセキュリティ、バイオセキュリティ、ジュネーブ条約の適用を問う武力紛争法にまで及ぶ。

収益モデルは、AI企業が自社モデルのテスト費用を払うというものだ。性能が低いと判明するかもしれない検査に金を払うのは奇妙に見えるが、有効な測定があってこそ問題を切り分けて改善できる。Krishnan氏はこれを、学生がSATを受けるためにCollege Boardに払う構図になぞらえる。そして、その評価はモデルを調達する企業側の意思決定材料にもなりつつある。同社の売上は現在、前年の8倍。従業員は年初の8人から25人へ3倍に増え、さらに10〜15人の追加採用と大幅に広いオフィスへの移転を計画する。連邦政府機関にモデル評価を提供する取り組みも最近動き出したという。

Krishnan氏は、ベンチマークの位置付けそのものが変わると見ている。「AI企業が株式を公開し始めている。SpaceXは上場し、Anthropicは年内とされ、OpenAIも遠からず上場するだろう。AIモデルが経済の中核になれば、われわれの評価がその利用を左右し、企業が開示書類を出したりAI投資を語ったりする際の中心的な要素になる」と述べた。