OpenAI、日常タスクの遂行能力を測るベンチマーク「LifeVal」発表

OpenAIが、日常タスクにおけるAIの遂行能力を測る評価ベンチマーク「LifeVal」を発表した。PC Watchが報じた。

見出しから分かるのは、LifeValが「日常タスク」の遂行を対象とした評価基準であるという点までだ。どのようなタスクが含まれるのか、どのモデルがどの程度のスコアを出したのか、評価方法や公開範囲といった詳細は、見出しからは確認できない。

背景として、AIの性能比較はこれまで、数学やプログラミング、専門知識を問う試験形式のベンチマークが中心だった。一方で、AIに作業を任せるエージェント型の利用が広がるにつれ、「試験で高得点を取れること」と「実際の用事を片づけられること」の間のずれが指摘されている。LifeValは、このずれを埋めるための評価とみられる。

意味合いとしては、AI各社の競争軸が、知識や推論の性能から、現実のタスクをやり遂げる実用性へと移りつつあることを示す動きといえる。ベンチマークを作る側がAIを開発するOpenAI自身である点は、評価の中立性という観点で今後の議論の対象になりうる。