AutoTuring、ノブ名を隠してAIエージェントの「理解」を測る評価手法

エージェントがハードウェア設計を任される機会が増え、成功したという報告も増えている。だが、こうした報告が立証できるのは「設計が改善した」ことだけで、「なぜ改善したか」ではない。arXiv論文「Do AI Agents Understand Computer Architecture?」（arXiv:2609.19387、Ambika Sharan氏ほか2名、2026年9月16日投稿）は、この点から出発する。

アクセラレータを改善したエージェントは、機械について推論しているのかもしれないし、その意味を一度も回復しないままノブを有能に探索しているだけかもしれない。次のアーキテクチャへ転移するのは前者だけだ。既存の評価はこの2つを区別できない。問題の枠組み（framing）を固定したまま、エージェントのほうを変えて比べるからだ、と著者らは指摘する。

提案する「AutoTuring」は逆をやる。同じエージェントに同じ15次元のアクセラレータ空間を2回渡す。1回目は名前の付いたアーキテクチャ上のノブとシミュレータのカウンタとして、2回目は[0,1]上の匿名変数として。評価器も、合法な探索空間も、到達可能な最適解も同一に保つ。変わるのはただ一点、その問題が何かを意味しているかどうかだけだ。2つの条件の差がそのまま測定値になる。

結果はこうだ。9つのカーネルからなるFP16 GEMMのバスケットで、意味は報われる。名前付き条件のエージェント（architect）は、モデル化したH200を平均5.4%上回り、名前を隠した条件（blind）を12.3%上回った。しかもシミュレータ呼び出しは70.1%少ない。同じ探索空間・同じ最適解でも、ノブの意味を知っているだけで、より良い解へより少ない試行で到達した。

ただし論文はここで止まらない。意味が報われることは、意味に固有ではなかった。批評（critic）ループを回すと、blindエージェントはギャップの大半を取り戻し、architectには何ももたらさなかった。つまりアーキテクチャの知識と構造化された批評は、互いを補完するものではなく代替として振る舞う。知識を持つエージェントに批評を足しても上積みはない、ということだ。

著者ら自身、これを予備的な知見とする。条件あたり5〜6ラン、単一のモデル化アクセラレータ上での結果にすぎない。貢献はアクセラレータではなく、比較の枠組みのほうにあると明言している。

この立て方はハードウェア設計に限らない。エージェントの評価では「タスクを解けたか」が測られるが、解けた理由が理解か探索かは見えない。変数名やスキーマ名を無意味な記号へ置き換えて同じタスクを解かせれば、その差がドメイン知識の寄与になる。AutoTuringが示したのは、エージェントではなく問題側を動かして測る発想だ。