基准 ≠ 生产力 · 差距可测量
SWE-Bench 分数很好看，真实任务经常翻车
别被排行榜骗了
污染、过拟合、老仓库、集成测试缺失……理解这些差距，才能在自家代码库里建立可信的评估。
为什么高分模型在真实项目里仍会失败
SWE-Bench 任务多来自公开老仓库，模型可能见过。真实代码库有私有领域知识、复杂构建、跨服务集成，这些都不在 benchmark 里。
具体差距成因
基准污染、老仓库、长时程任务失败、缺少集成测试和生产特有约束。认识到这些是第一步。
如何为自家仓库构建评测
用真实 issue 或 PR 描述作为任务，记录成功率、平均迭代次数、人类干预次数、引入的回归 bug 数，形成内部可比数据。
在 QCode 上进行多模型 A/B 测试
同一任务在不同模型上运行并比较结果。统一 Key 可快速切换，dashboard 便于追踪用量和结果。
用 QCode 建立自己的真实基准
在 QCode 上跑你仓库里的真实 issue 或 PR 描述，记录成功率、平均 token、人类干预次数，形成内部可比数据。
SWE-Bench 现实 FAQ
排行榜分数完全没用吗？
有参考价值，但只能作为「相对能力」信号。必须在自家 repo 上做小规模 A/B 才能知道实际效果。
我们该测什么指标？
任务完成率、平均迭代次数、人类 review 耗时、引入的回归 bug 数、最终代码可维护性评分。
Terminal-Bench 比 SWE-Bench 更靠谱吗？
它更侧重终端 agent 能力，是有用补充。但同样存在过拟合风险，真实价值仍需自家验证。
QCode 怎么帮我们测？
统一 Key 方便在多个模型间快速切换跑相同任务，dashboard 提供可追溯的用量与结果，便于持续跟踪改进。