SWE-bench Pro の3つの首位
誰も嘘をついていないが、誰も全部を言っていない
Anthropic のシステムカードは Fable 5 = 80.3 と書き、アグリゲータは Fable 5 = 80.0 / Mythos 5 = 80.3 と書く。Scale 公式ボードの数字はさらに一段低い。差の原因はデータ分割と scaffold であり、スコア稼ぎではない。
出回っている3つの「首位」
ベンダー自己申告 · Fable 5
Anthropic システムカード口径：自社 harness、自社実行。Mythos 5 も同点。
アグリゲータ · Fable 5
llm-stats などの集約サイトは Fable 5 を 80.0、Mythos 5 を 80.3 と記録——システムカードとの差は 0.3。
Scale 公式 · GPT-5.4 xHigh
Scale 公式の公開集（標準化 SEAL フレームワーク）口径、2026-04。数字は一段低いが、口径は最も厳格。
公開集 / 私有集のタスク数
SWE-bench Pro は全 1865 題：公開 731、私有商用 276、留保 858。各社が走らせている集合は同じではない。
SWE-bench Pro とは
Scale AI が 2025-09 に公開した企業級の長尺コーディングベンチマーク。41 のプロフェッショナルリポジトリから 1865 タスクを収録。公開集はすべて GPL 系の強 copyleft ライセンスで訓練汚染を抑え、私有集は契約スタートアップのクローズドソースコード。採点は厳しい：パッチは新規の fail-to-pass テストを通しつつ、既存テストを1つも壊してはならない。Verified より 1 桁難しく、Verified で 70%+ のモデルでも Pro の初期ベースラインは約 23% だった。
数字が合わない理由
3 つの出典はそもそも同じ種類の「点」を測っていない。ベンダーのシステムカードは自社 harness の自己申告。集約サイトはベンダー自己申告とサードパーティ再測を混ぜて集計。Scale 公式ボードは統一 SEAL フレームワークで全モデルを走らせ直し、公開/私有を分けて掲載する。そこに reasoning effort の段（high/xhigh）とスナップショット日付が重なり、同じモデルが合法的に 3〜4 つの異なるスコアを持ちうる。
タイムライン
Scale が SWE-bench Pro を公開。初期ベースラインは GPT-5 23.3% / Opus 4.1 23.1%（公開集）。
Fable 5 / Mythos 5 がリリースされ、システムカードは 80.3 を自己申告。集約サイトは順次 80.0 / 80.3 と記録。
集約ボードが固まる：Mythos 5 80.3、Fable 5 80.0、Opus 5 79.2 が先行。Scale 公式ボードの口径の数字はかなり低い。
確認済み vs 誤読注意
確認済み
3 組の数字はすべて実在し、それぞれ出典がある。差はデータ分割（公開/私有）、scaffold（自己申告 harness vs SEAL 統一フレームワーク）、effort の段で完全に説明できる。
誤読注意
「XX が 80+ で SWE-bench Pro 首位」と「SWE-bench Pro の最高は 50 点台」は同時に真でありうる——前者はベンダー自己申告/集約口径、後者は Scale 公式の統一フレームワーク口径。引用するときは必ず口径を添えること。
どの口径を見るか
横断的な選定
Scale 公式ボードや vals.ai のような統一フレームワーク再測を見る。数字は低いが比較可能——全モデルを同じ物差しで測っている。
フロンティアの追跡
ベンダーのシステムカードと集約ボードを見る。数字は新しく高いが、同じ口径の過去の数字との縦比較にのみ適する。
ランキングにだまされない方法
3 ステップ：① データ分割を確認——公開集 731 題か、私有集 276 題か。② scaffold を確認——ベンダー自社 harness か、SEAL 統一フレームワークか。③ effort の段と日付を確認。3 つの答えが揃わない数字は、横比較しないこと。
QCode では
ランキング上位のモデル——Fable 5、Opus 5、GPT-5.6 全系、GLM-5.3、Kimi K3、DeepSeek V4 Pro——は QCode の1つのキーで呼べる。口径の議論にこだわるより、自分のリポジトリで一度走らせるほうが早い。統一エンドポイント、統一 scaffold、数字は自分で出す。
よくある質問
SWE-bench Pro の首位は結局どれ？
集約口径では Mythos 5（80.3）。ベンダー自己申告口径では Fable 5 と Mythos 5 が 80.3 で並ぶ。Scale 公式の統一フレームワーク口径の数字は全体的に一段低い。3つの「首位」にはそれぞれ口径がある。
公式ボードはなぜベンダー自己申告よりこんなに低い？
Scale 公式ボードは統一 SEAL フレームワークで全モデルを走らせ直し、公開/私有集を分けて報告する。ベンダー自己申告は自社で最適化した harness を使う。難題ではフレームワークの差だけで 20 ポイント開くことがある。
公開集と私有集の違いは？
公開集 731 題は GPL 系の強 copyleft リポジトリ由来。私有集 276 題は契約スタートアップのクローズド商用コードで、汚染リスクが最も低く、スコアは全般的に低い。さらに 858 題の留保集は非公開。
SWE-bench Pro と Verified の関係は？
Pro は 2025-09 に公開された後継ベンチマーク。より長尺で、企業級タスクに近く、耐汚染設計。Verified で 70%+ のモデルが Pro の初期では約 23% だった。
effort の段はスコアに影響する？
する。high と xhigh の段では難題での差が顕著で、ベンダー自己申告はたいてい最高段を取る。比較前に双方の段が一致しているか確認すること。
選定のための再測で最も堅い方法は？
scaffold を1つに固定し（公式 SWE-Agent や SEAL など）、統一 API エンドポイントで自分のリポジトリの実 issue を走らせること。どんなサードパーティボードより自分の負荷に近い。
情報源
Scale 公式 SWE-bench Pro ページ（labs.scale.com、2026-08-22 取得）、Anthropic Fable 5 システムカード（vellum 経由の引用）、llm-stats、benchlm 集約ボード（08-21）、techjacksolutions の口径論争報道。
関連記事
SWE-bench Pro 2026 ランキング
最新の順位スナップショット。
Terminal-Bench 2.1 解説
3つのランキングを持つもう1つのベンチマーク。
SWE-bench の本番現実
ランキングスコアと実際の開発現場のギャップ。
ランキングの数字は 2026-08-22 時点のスナップショットで、各口径の出典は本文に記載。Scale / Anthropic とは無関係です。