Google、Android Bench 2.0公開。AIの開発力を検証

Google が「Android Bench 2.0」を公開したと ITmedia AI+ が報じた。見出しによると、「1週間の開発タスク」を題材に、AI がどこまで開発作業をこなせるか、その限界を確かめるベンチマークだという。名称から、Android アプリ開発を題材にしたものとみられる。

現時点で入手できているのは見出しのみで、タスクの数や内容、成否の判定方法、どの AI モデルを評価してどのような結果が出たのか、前版からの変更点は確認できていない。

AI によるコード生成の評価は、これまで関数単位の小さな問題を解かせる形式が中心だった。しかし実際の開発では、既存のコードを読み、複数のファイルにまたがって変更し、ビルドやテストを通すまでを一続きでこなす必要がある。人間で1週間かかる規模のタスクを使うという設計は、こうした長い作業の途中で AI が方針を見失わずに完遂できるかを測る狙いとみられる。

AI エージェントに開発を任せる動きが広がるなか、どの程度の規模の仕事なら任せられるのかを示す物差しは、導入の判断材料として重要になる。ベンチマークが「限界の検証」をうたっている点からは、AI がまだこなせない領域を明らかにすることにも重点を置いているとみられる。