SWE-Bench Pro 2026 — بنچمارک واقع‌گرایانه برای مدل‌های کدنویسی با هوش مصنوعی
تا تاریخ 2026-10-07، تابلوی رسمی SWE-Bench Pro در Scale AI (مجموعه‌داده عمومی) Muse Spark 1.1* را با 61.50 ± 3.10 و gpt-5.4 (xHigh)* را با 59.10 ± 3.56 فهرست می‌کند، هر دو با Rank (UB) 1؛ در مجموعه‌داده خصوصی، دو مورد برتر Muse Spark 1.1* (51.5) و claude-opus-4-6 (thinking)* (47.1) هستند. برای ورودی‌های علامت‌خورده با *، تابلو یادآوری می‌کند: «با ابزار آزمون mini-swe-agent اجرا شده است.» خودگزارش‌های فروشنده و تابلوهای تجمیعی از روش‌شناسی‌های دیگری استفاده می‌کنند؛ به صفحه «Three First Places» ما مراجعه کنید.
SWE-Bench Pro در برابر Verified — بنچمارک
SWE-Bench Verified (محبوب از 2024): ~500 وظیفه‌ی رفع issue در GitHub که توسط انسان تأیید شده‌اند. SWE-Bench Pro (جریان اصلی از 2026): همان رویکرد، اما دشوارتر — زمینه‌ی طولانی‌تر، فایل‌های بیشتر لمس‌شده و نزدیک‌تر به جریان‌های کاری واقعی PR. Verified نزدیک 80% (5.2-Codex) به سطح ثابت رسید، Pro هنوز ~40 امتیاز جای رشد دارد و اکنون بنچمارک مرجع است. Terminal-Bench 2.0 وظایف عامل ترمینال را می‌سنجد؛ OSWorld وظایف کار با GUI را می‌سنجد؛ GDPval دانش حرفه‌ای را می‌سنجد.
تحول امتیازها در Q1-Q2 2026
تحول اولیه: GPT-5.2-Codex (2026-01) Verified 80.0% / Pro 56.4%؛ GPT-5.3-Codex (2026-02) Pro 56.8% (این مدل در 2026-08 بازنشسته شد)؛ GPT-5.5 Pro 58.6%. تابلوی تجمیعی 08-18 (با روش‌شناسی llm-stats / benchlm): Mythos 5 80.3، Fable 5 80.0، Opus 5 79.2، Qwen3.8 Max 67.7، GPT-5.6 Sol 64.6، GLM-5.2 62.1. توجه: کارت سیستم Anthropic برای Fable 5 مقدار 80.3 را خودگزارش می‌کند (هم‌رده با Mythos)، در حالی که تابلوی تجمیعی 80.0 را ثبت می‌کند — هر دو عدد وجود دارند؛ تفاوت در روش‌شناسی ارزیابی است.
تابلوی رسمی Scale AI، عیناً: مجموعه‌های عمومی و خصوصی (2026-10-07)
در ادامه، تابلوی رسمی SWE-Bench Pro در Scale AI آمده است که در 2026-10-07 دریافت شده و بدون تبدیل و بدون گزینش مدل کپی شده است. مجموعه‌داده عمومی (تابلو 731 نمونه را ذکر می‌کند)، 6 مورد برتر: Muse Spark 1.1* 61.50 (با علامت NEW)، gpt-5.4 (xHigh)* 59.10، Muse Spark* 55.00، claude-opus-4-6 (thinking)* 51.90، gemini-3.1-pro (thinking)* 46.10، claude-opus-4-5-20251101 45.89. مجموعه‌داده خصوصی (276 نمونه برگرفته از 18 پایگاه کد خصوصی و اختصاصی از استارتاپ‌ها)، 4 مورد برتر: Muse Spark 1.1* 51.5، claude-opus-4-6 (thinking)* 47.1، Muse Spark* 44.7، gpt-5.4(xHigh)* 43.4. راهنما، عیناً: Rank (UB) برابر است با 1 + تعداد مدل‌هایی که کران پایین CI آن‌ها از کران بالای CI این مدل بیشتر است؛ * یعنی با harness mini-swe-agent اجرا شده است؛ ورودی‌هایی که خاکستری نشده‌اند، با هزینه‌ی بدون سقف و محدودیت 250 نوبت اجرا شده‌اند.
دسترسی یکپارچه به همه‌ی مدل‌های اصلی از طریق QCode
QCode.cc یک درگاه API شفاف و واحد به همه‌ی مدل‌های اصلی کدنویسی از داخل چین ارائه می‌دهد — Claude (Opus 4.7 / Sonnet)، GPT (5.5 / خانواده Codex)، مدل‌های چینی و موارد دیگر. یک اشتراک، با صورتحساب به‌ازای هر توکن. در Claude Code، Codex CLI، Cursor، Cline، Continue، تغییر مدل‌ها فقط با تغییر base URL و model id انجام می‌شود — یک‌بار پیکربندی کنید، همه‌جا اجرا کنید.
FAQ
آیا 58.6% در SWE-Bench Pro بالا است؟ چگونه باید آن را تفسیر کنم؟
Pro بسیار دشوارتر از Verified است: Verified اشباع شده است (80%+)، در حالی که در Pro خودگزارش‌های ارائه‌دهندگان برتر حدود 80 است و اعداد رسمی چارچوب یکپارچه Scale پایین‌تر هستند. پیش از خواندن هر امتیاز Pro، سه چیز را بپرسید: کدام تابلو، چه scaffold، و کدام رده تلاش — جزئیات در «سه جایگاه نخست SWE-bench Pro».
چرا GPT-5.5 همه‌منظوره بر 5.3-Codex متخصص کدنویسی در Pro پیروز می‌شود؟
این تصویری از نیمه نخست 2026 است. صدر تابلوی تجمیعی 08-18 اکنون سه مدل Claude است (Mythos 5 / Fable 5 / Opus 5)، و GPT-5.3-Codex در 2026-08 بازنشسته شد (به سه رده GPT-5.6 مهاجرت کنید). از 2026-09-03، صدر خط OpenAI مدل GPT-6 Astra است — اما توجه کنید که OpenAI هیچ امتیاز SWE-bench Verified برای آن در صفحه مدل یا کارت سیستم منتشر نکرده است، بنابراین جایگاه قابل‌مقایسه‌ای در این تابلو ندارد. اعدادی را که در جاهای دیگر می‌چرخند رسمی تلقی نکنید.
امتیاز Pro مدل Opus 4.7 منتشر نشده است — چگونه می‌توانید آن را ارزیابی کنید؟
در این تابلوی تجمیعی 2026-08-18، Opus 4.7 هیچ امتیاز Pro گزارش‌شده از سوی ارائه‌دهنده ندارد، بنابراین آن را بر اساس امتیاز رتبه‌بندی نکنید. جایگاه آن به Opus 5 منتقل شد؛ تا 2026-09-29، جدیدترین Opus از Anthropic مدل Opus 5.5 است (منتشرشده در 2026-09-22، $4 / $20). ردیاب /claude-opus-5-2-status-tracker و مشخصات در /claude-opus-5-5-guide را ببینید.
از SWE-Bench تا واقعیت تولید در 2026: بنچمارک‌ها چگونه به تحویل تبدیل می‌شوند (یا نمی‌شوند)
وظایف SWE-Bench عمدتاً از مخزن‌های عمومی قدیمی می‌آیند که ممکن است مدل آن‌ها را دیده باشد. کدبیس‌های واقعی دارای دانش دامنه خصوصی، بیلدهای پیچیده و یکپارچگی بین‌سرویسی هستند — که هیچ‌کدام از آن‌ها در بنچمارک نیستند.
علل مشخص این شکاف: آلودگی بنچمارک، مخزن‌های قدیمی، شکست در وظایف افق‌بلند، نبود تست‌های یکپارچگی و محدودیت‌های مخصوص محیط تولید. شناخت این موارد نخستین گام است.
چگونه برای مخزن خودتان ارزیابی بسازید: از issueهای واقعی یا توضیحات PR به‌عنوان وظیفه استفاده کنید، نرخ موفقیت، میانگین تعداد تکرارها، مداخلات انسانی و باگ‌های رگرسیون ایجادشده را ثبت کنید. داده‌های قابل‌مقایسه درونی ایجاد کنید.
توضیح سه رتبه نخست SWE-bench Pro
یک بنچمارک کدنویسی سازمانی و افق‌بلند که Scale AI در 2025-09 منتشر کرد: 1865 وظیفه برگرفته از 41 مخزن حرفه‌ای. بخش عمومی فقط از مجوزهای کپی‌لفت قوی از نوع GPL استفاده می‌کند تا آلودگی آموزش را مهار کند؛ بخش خصوصی کد متن‌بسته استارتاپ‌های قراردادی است. ارزیابی سخت‌گیرانه است: یک patch باید کاری کند که تست‌های جدید fail-to-pass پاس شوند، بدون شکستن هیچ تست موجودی. این بنچمارک به اندازه یک مرتبه بزرگی سخت‌تر از Verified است — مدل‌هایی که در Verified امتیاز 70%+ می‌گرفتند، در Pro از حدود 23% شروع می‌کردند.
سه منبع اصلاً یک نوع «امتیاز» یکسان را اندازه‌گیری نمی‌کنند: کارت‌های سیستم ارائه‌دهندگان روی هارنس‌های خودشان خودگزارشی انجام می‌دهند؛ تجمیع‌کننده‌ها خودگزارش‌های ارائه‌دهنده را با اجراهای مجدد شخص ثالث ترکیب می‌کنند؛ تابلوی رسمی Scale همه‌چیز را زیر چارچوب یکپارچه SEAL دوباره اجرا می‌کند و بخش‌های عمومی/خصوصی را جداگانه فهرست می‌کند. اگر سطوح تلاش استدلال (high/xhigh) و تاریخ‌های snapshot را هم در نظر بگیرید، همان مدل می‌تواند به‌طور موجه سه یا چهار امتیاز متفاوت داشته باشد.
هر سه مجموعه اعداد واقعاً با منشأ خودشان وجود دارند؛ تفاوت‌ها کاملاً با تقسیم داده (عمومی/خصوصی)، اسکافولد (هارنس ارائه‌دهنده در برابر چارچوب یکپارچه SEAL) و سطح تلاش توضیح داده می‌شوند.
«X با 80+ در صدر SWE-bench Pro قرار می‌گیرد» و «SWE-bench Pro در محدوده 50ها به اوج می‌رسد» می‌توانند هر دو درست باشند — عبارت اول بر پایه خودگزارشی ارائه‌دهنده/تجمیع‌کننده است و عبارت دوم بر پایه چارچوب یکپارچه رسمی Scale است. هنگام نقل یک عدد، همیشه چارچوب را ذکر کنید.
به همه مدل‌های اصلی کدنویسی از طریق QCode دسترسی داشته باشید
مدل‌های claude-opus-5-5، claude-opus-5، claude-fable-5، gpt-6.1-sol، gpt-5.6-sol، glm-5.3، kimi-k3 و deepseek-v4-pro با یک کلید QCode قابل فراخوانی هستند. صورتحساب به‌ازای هر توکن محاسبه می‌شود؛ قیمت هر مدل در /models آمده است.
پلن QCode خود را شروع کنیدایجاد حساب کاربری QCode
یک کلید برای Claude، GPT و مدل‌های چینی، با صورتحساب به‌ازای توکن — نرخ‌های زنده در /models.