Оценки SWE-Bench выглядят хорошо, реальные задачи часто проваливаются
Не верьте слепо лидербордам
Загрязнение, переобучение, старые репозитории, отсутствие интеграционных тестов… Поймите эти разрывы, чтобы построить достоверную оценку на своей кодовой базе.
Почему модели с высоким скором всё равно терпят неудачу в реальных проектах
Задачи SWE-Bench в основном взяты из публичных старых репозиториев, которые модель, возможно, уже видела. Реальные кодовые базы содержат приватные доменные знания, сложные сборки, межсервисную интеграцию — ничего из этого нет в бенчмарке.
Конкретные причины разрыва
Загрязнение бенчмарка, старые репозитории, провалы на длинных горизонтах, отсутствие интеграционных тестов и специфических для продакшена ограничений. Осознание этого — первый шаг.
Как построить собственную оценку для своего репозитория
Используйте реальные issue или описания PR в качестве задач, записывайте success rate, среднее число итераций, количество вмешательств человека и количество введённых регрессий. Создавайте внутренние сопоставимые данные.
A/B-тестирование нескольких моделей на QCode
Запускайте одну и ту же задачу на разных моделях и сравнивайте результаты. Единый ключ позволяет быстро переключаться, а дашборд помогает отслеживать использование и результаты.
Построение настоящего бенчмарка на QCode
Запускайте реальные issue или описания PR из вашего репозитория на QCode, записывайте success rate, среднее количество токенов, количество вмешательств человека. Формируйте внутренние сопоставимые данные.
FAQ по реальности SWE-Bench
Оценки лидерборда совершенно бесполезны?
Они имеют справочную ценность как сигнал «относительной способности». Только запустив small-scale A/B на своём репозитории, вы узнаете реальный эффект.
Какие метрики следует измерять?
Доля завершённых задач, среднее число итераций, время человеческого ревью, количество введённых регрессий, оценка поддерживаемости финального кода.
Terminal-Bench надёжнее SWE-Bench?
Он больше фокусируется на возможностях терминального агента и является полезным дополнением. Риск переобучения остаётся; реальная ценность всё равно требует вашей собственной валидации.
Как QCode помогает в измерениях?
Единый ключ позволяет быстро переключать несколько моделей для выполнения одной и той же задачи. Дашборд предоставляет отслеживаемое использование и результаты для непрерывного отслеживания и улучшения.
Построить производственный бенчмарк
Выполняйте реальные задачи с QCode. Пусть данные говорят.