モデル評価とは
モデル評価（evaluation、略して「eval」）とは、AIモデルに決まったテストを解かせ、その結果から「どの作業をどの程度正確にこなせるか」を測る工程です。モデルを開発する会社が出荷前に性能や安全性を確かめるときにも、モデルを使う側が複数の候補から選ぶときにも使われます。
大規模言語モデルの出力は文章なので、正解が1つに決まらないことがよくあります。そのため「何をもって正解とするか」を決める設計そのものが、評価の中心的な課題になります。
何ができるのか・使い方
評価の手法は、大きく分けて次の3つです。
- **ベンチマーク**：問題と正解を集めた共通のテストを解かせ、正答率などの点数で比べる。結果を再現しやすく、他のモデルと比べやすい - **人による評価**：出力を人が読んで採点する。手間はかかるが、点数に表れにくい質も確かめられる - **モデルによる評価（LLM-as-a-judge）**：別のAIモデルに出力を採点させる。大量の出力を安く採点できる一方、採点役のモデルに偏りが出るおそれがある
エンジニアが自社で使う場合は、実際の業務に近い入力と期待する出力を集めて評価用データを作り、プロンプトやモデルを変えるたびに同じテストを回して、点数が上がったか下がったかを確かめるのが基本の流れです。評価を手早く回すためのオープンソースの枠組み（EleutherAIの lm-evaluation-harness など）も公開されています。
料金
モデル評価という作業自体に、決まった料金はありません。かかる費用はおもに、テスト対象のモデルを動かす計算資源やAPIの利用料、人が採点する場合の人件費、評価用データを作る手間です。
評価を外部の会社に頼むという選択肢もあります。AIベンチマークのスタートアップValsでは、顧客であるAI企業がテスト費用を自分で払う仕組みになっています。ただし、具体的な価格は当サイトでは確認できていません。
誰が作っているのか・最近の動き
評価を手がけるのは、モデルを開発する会社の社内チームと、外部の専門企業です。ここでは当サイトが報じた2つの動きを紹介します。
Valsは、Andreessen Horowitz主導のシリーズAで資金を調達しました。同社はテストの中身を公開していません。公開されたベンチマークでは、モデルがテスト問題に合わせて学習してしまい、点数が実力以上に高く出る問題があります。テストを非公開にすることで、その余地をなくしているわけです。評価の対象は、法律、金融、コーディングといった業界ごとの複雑なタスクです。売上は前年の8倍に伸びたと報じられています。
Anthropicは、社内のモデル評価をインターネットから切り離していると、The Vergeが報じました。評価の中身や切り離しの方法、始めた時期、理由は、報道の見出しからは確認できません。評価中のモデルが外部の情報やシステムにアクセスできないようにする狙いがあると当サイトはみていますが、これは推測です。
投資家・企画担当者が押さえておきたい点
2つの動きに共通するのは、「点数が本当に実力を表しているか」を守るための工夫だという点です。公開ベンチマークで高い点数が出ていても、それがそのまま業務での性能を意味するとは限りません。モデルを選ぶ企画・DXの担当者にとっては、自社の業務に近いデータで評価できるかどうかが判断の要になります。投資家にとっては、評価の信頼性そのものが、Valsのような独立した評価企業の事業の土台になっている点が注目どころです。
