ランキング解説 · 2026-08-22 スナップショット

Terminal-Bench 2.1
3つの首位、どれを信じるか

同じベンチマークなのに、公式リーダーボード・Artificial Analysis・vals.ai で1位がすべて違う。差の原因はスコア稼ぎではなく、harness・effort 段・スナップショット日付だ。

#terminal-bench-2.1#89 タスク#3つのランキング#TB 3.0 登場

3つのランキングの首位

83.8

公式ボード · Claude Code × Fable 5

tbench.ai。agent + モデルの組み合わせエントリ、xhigh 段、2026-06-07 スナップショット。1回あたり $552.67。

89.5

Artificial Analysis · GPT-5.6 Sol

xhigh 推論段。Opus 5 が 89.1 で続き、Grok 4.6 が 88.4 で3位(The Batch 08-21 の引用)。

85.77

vals.ai · GPT-5.6 Sol

統一 Terminus 2 harness、pass@1。Opus 5 は 84.64、Kimi K3 は 80.90。

89

タスク数

モデル訓練からシステム管理までのターミナルタスクを難易度別に収録。公開当初、hard 帯で 50% を超えたモデルはなかった。

Terminal-Bench 2.1 とは

Terminal-Bench はコミュニティ主導のオープンソースなターミナル agent ベンチマーク。サンドボックス化されたターミナルで実際にタスクを完了させる——たとえば「data/ の yelp データで fasttext モデルを学習し、150MB 未満で非公開テストセットの正解率 0.62 を達成する」といった内容だ。2.1 版は 89 タスクで、モデル訓練やシステム管理などをカバー。採点は pass@1 で、タスクに付属する pytest がすべて通って初めて得点になる。ターミナル操作は Claude Code、Codex、Cursor といった agent の主戦場であり、このランキングは agentic coding のハードな指標になっている。

今月また盛り上がっている理由

08-08 以降、複数のメディアが Artificial Analysis の数値を引用している。GPT-5.6 Sol 89.5 対 Claude Opus 5 89.1 と、トップ2の差はわずか 0.4。08-21 には The Batch が Grok 4.6 の 88.4 によるトップ3入りを報じた。一方、公式 tbench.ai の首位は Claude Code × Fable 5 の 83.8 —— どちらの数字も正しい。測っている「モデル」が違うだけだ。さらに GLM-5.3 のリリース文はすでに Terminal-Bench 3.0 を参照しており、2.1 は一世代前のランキングになりつつある。

タイムライン

2026-06-07

公式ボードの現在のトップエントリ:Claude Code × Fable 5(xhigh)83.8。

2026-08-08

「Sol 89.5 vs Opus 5 89.1」という Artificial Analysis の数値がメディアで大量に引用され始める。

2026-08-21

The Batch:Grok 4.6 が 88.4 でトップ3入り。同時期の vals.ai スナップショットは Sol 85.77 / Opus 5 84.64 / K3 80.90。

確認済み vs 誤読注意

確認済み

3つのランキングはいずれも実在し、数字は検証可能だ。公式 tbench.ai(agent + モデルの組み合わせ、harbor フレームワーク)、vals.ai(統一 Terminus 2 harness、pass@1)、Artificial Analysis(モデル直接測定、effort 段を明記)。数値の差は harness と段の違いから来るもので、データ捏造ではない。

誤読注意

「X モデルが Terminal-Bench で1位」という見出しは、どのランキングの、どの agent の、どの effort 段の話かをほとんど書かない。公式ボードが測っているのは「agent + モデル」の組み合わせ(例:Claude Code × Fable 5)であって素のモデルではない。組み合わせスコアをモデルスコアと読み違えるのが最も多い誤読だ。

スコアの前にコストを比べる

スコアは僅差

公式ボードの上位2件の差は 0.7(83.8 vs 83.1)、Artificial Analysis では 0.4。2.1 はトップモデルにとってほぼ飽和している。

コストは数倍差

公式ボードの1回あたり実行コスト:Fable 5 組み合わせは $552.67、GPT-5.5 組み合わせは $2,059.19。同じスコア帯でも予算は約 4 倍違う。

自分で再測するには

公式フレームワークは harbor。harbor run -d terminal-bench/terminal-bench-2-1 -a "<agent>" -m "<model>" -k 5 で実行できる。モデルを横比較したいなら agent と effort 段を固定し、agent を選定したいならモデルを固定する。vals.ai と Artificial Analysis のスナップショットは裏付けとして使える。

QCode では

3つのランキングの上位モデル——Fable 5、Opus 5、Sonnet 5、GPT-5.5、GPT-5.6 全系、Kimi K3、GLM-5.2——は、QCode なら同じ1つのキーで順番に再測できる。公式価格 × サービス料率で、各プラットフォームに個別チャージするより1ラウンドのコストははるかに安い。Grok シリーズは QCode 未接続のため、公式チャネルを利用してほしい。

よくある質問

Terminal-Bench 2.1 の1位は結局どれ?

ランキング次第です。公式 tbench.ai は Claude Code × Fable 5(83.8)、Artificial Analysis は GPT-5.6 Sol(89.5)、vals.ai のスナップショットも Sol(85.77)。harness と集計口径がそれぞれ違います。

なぜ公式ボードの数字はこんなに低いの?

公式ボードは「agent + モデル」の組み合わせを測り、各エントリにスナップショット日付が付いています。vals.ai は統一 Terminus 2 harness で再測し、Artificial Analysis はモデル直接測定で effort 段を明記しています。harness が強く、段が高いほどスコアは上がります。

89 タスクの内容は?

サンドボックスのターミナルで行う実タスクです。モデル訓練、システム管理、データ処理などを難易度別に収録。pass@1 採点で、付属の pytest が全部通って初めて得点になります。

Terminal-Bench 3.0 はもう出たの?

ベンダーが引用し始めています。GLM-5.3 のリリース文は TB 3.0 を参照し、サードパーティの比較ページでは Opus 5 42.7 / Sol 34.6 と表示されています。難易度は大幅に高く、2.1 のトップスコアはほぼ飽和しています。

1ラウンド再測するといくらかかる?

公式ボードのエントリにはコスト列があり、Fable 5 組み合わせは $552.67、GPT-5.5 組み合わせは $2,059.19(1回あたり)です。統一 API プラットフォームの従量課金なら、各プラットフォームに個別課金するよりずっと安く済みます。

選定にはどのランキングを見るべき?

agent 選びなら公式ボード(組み合わせスコア)、素のモデル選びなら vals.ai(統一 harness)、手早い横比較なら Artificial Analysis。どの単一の数字も唯一の根拠にすべきではありません。

情報源

tbench.ai 公式ボード(2026-08-22 取得)、vals.ai の Terminal-Bench 2.1 方法説明とスナップショット、Artificial Analysis(felloai と The Batch 2026-08-21 経由の引用)、BuildApps(2026-08-08)。

1つのキーで、自分の結論を走らせる

ランキング上位のモデルが QCode の同一エンドポイントで呼べます。公式価格 × サービス料率で、再測コストは自分でコントロール。