用語解説 ターミナルベンチ

Terminal-Benchとは

Terminal-Bench は、AI エージェントがコマンドライン(ターミナル)で実際の作業をやり遂げられるかを測るオープンソースのベンチマーク。何を測るのか、使い方、料金、作り手、競合をまとめた。

Terminal-Bench とは

Terminal-Bench は、AI エージェントがターミナル(コマンドライン)上で実際の作業を最後までやり遂げられるかを測る、オープンソースのベンチマークです。米スタンフォード大学と、AI 研究を支援する非営利団体 Laude Institute が共同で開発し、2025 年に公開しました。

測るのは、質問に正しく答えられるかではありません。「ソースからビルドする」「サーバを立てて設定する」「壊れた環境を直す」といった課題を、エージェントが自分でコマンドを打って片づけられるかを見ます。課題ごとに Docker コンテナの作業環境と、成功したかを自動で判定するテストが付いています。結果は「解けた課題の割合(%)」で表します。

何に使えるのか・どう読むのか

AI 企業は、新モデルを発表するときにエージェント性能の指標としてこのスコアを載せることがあります。当サイトの記事によると、Anthropic が 9 月 22 日に発表した Claude Opus 5.5 は Terminal-Bench 4.0 で 66.4% を記録し、GPT-6 Astra を上回りました。

読むときは版の番号を必ず確認してください。課題の中身は版ごとに入れ替わるので、1.0 と 2.0、あるいは 4.0 の数字を並べて比べることはできません。また、スコアはモデルだけでなく、モデルを動かすエージェント側の仕組み(ハーネス)によっても変わります。企画や DX の担当者が「開発・運用の自動化をどの AI に任せるか」を検討するときの参考にはなります。ただし、自社の業務でそのまま同じ性能が出る保証にはなりません。

使い方

エンジニアは、自分のエージェントやモデルを手元で採点できます。おおまかな流れは次のとおりです。

1. GitHub で公開されているツールを入れる(Docker が必要) 2. 対象のデータセット(版)、評価するエージェント、使うモデルを指定して実行する 3. 課題ごとの成功・失敗とログを確認する

公式の比較用エージェントとして「Terminus」が用意されています。2.0 からは、評価を動かす仕組みとして「Harbor」という枠組みが使われています。具体的なコマンドは版によって違うので、最新の公式ドキュメントを確認してください。3.0 以降の変更点については、筆者は確かな情報を持っていません。

料金

Terminal-Bench そのものはオープンソースで、無料で使えます。実際にかかるお金は、評価中にエージェントが呼び出すモデルの API 利用料と、コンテナを動かす計算資源です。エージェントは 1 つの課題で何度もモデルを呼ぶので、全課題を回すと API 料金が膨らむ場合があります(具体額はモデルと設定によって変わるため、ここでは示しません)。たとえば Opus 5.5 の API 料金は、入力 100 万トークンあたり 4 ドル、出力 20 ドルです。

誰が作っているか・競合

開発の中心はスタンフォード大学の研究者と Laude Institute で、営利企業の製品ではありません。そのため、投資の対象になる事業ではなく、業界で共有される「物差し」と考えるのが適切です。

比較対象としてよく挙がるのは、GitHub の実在するバグ修正でコーディング能力を測る SWE-bench と、人が検証した課題に絞ったその派生版 SWE-bench Verified です。SWE-bench はコードの修正に焦点を当てています。Terminal-Bench はそれより広く、環境構築や運用作業まで含めたターミナル操作全体を対象にしている点が違います。

Terminal-Benchに関する記事

2 件