SWE-Bench Pro における Claude Fable 5：80.3%はどう測定されたのか、信頼できるのか

Anthropic が公表した比較資料の中では、80.3%はこれらのモデルの中で最高で、Mythos 5 と同点です。ただしこれは Anthropic 自社の評価基準による結果であることに注意してください。他機関による独立再現では必ずしも同じ順位になるとは限りません。詳細は次の質問をご覧ください。

スコア自体は実際に公表された数字であり、捏造ではありません。しかしこれは Anthropic 自社の評価スキャフォールディングで測定されたものであり、公式評価基準による結果であって、中立的な第三者による独立再現の結果ではありません。techjacksolutions.com の批判的な報道は、独立評価機関が SWE-Bench Pro を再現した結果、公式発表の数字とは異なるスコアが得られたことを指摘しています。論争の焦点は「テスト条件を誰が構築したか」「その構造が被験モデルに有利に働きやすいかどうか」であり、スコアの存在自体を疑うものではありません。

評価スキャフォールディングは、モデルがタスク説明をどう読み取るか、ツールをどう呼び出すか、失敗後に再試行できるか、どれだけのコンテキスト・ステップ予算が与えられるかを決定し、これらの実装上の詳細が最終的な通過率に実質的な影響を与えます。テストされるモデルの提供元が自らこのスキャフォールディングを構築・調整する場合と、中立的な第三者が統一基準で全モデルを比較する場合とでは、結果が異なる可能性があります。これはほぼ全てのベンダー自社発表のベンチマークスコアに共通する一般的な問題であり、Fable 5 に固有のものではありません。

意味のある一つのシグナルとして扱うべきであり、唯一の判断材料にはしないでください。これは実世界のコードベースでのバグ修正系タスクにおけるおおよその能力水準を示すものであり、あなた自身のユースケース（タスクの種類、コンテキスト長、コスト予算）と完全に一致するとは限りません。「SWE-Bench Pro 2026 ランキング」で全体比較を確認した上で、自分の実際のタスクで小規模に検証することをおすすめします。