SWE-Bench Pro 2026 — المعيار الواقعي لنماذج البرمجة بالذكاء الاصطناعي
اعتبارًا من 2026-10-07، تُدرج لوحة SWE-Bench Pro الرسمية التابعة لـ Scale AI (مجموعة البيانات العامة) Muse Spark 1.1* عند 61.50 ± 3.10 وgpt-5.4 (xHigh)* عند 59.10 ± 3.56، وكلاهما Rank (UB) 1؛ وفي مجموعة البيانات الخاصة، الأولان هما Muse Spark 1.1* (51.5) وclaude-opus-4-6 (thinking)* (47.1). وللإدخالات المميزة بـ *، تذكر اللوحة: شُغّلت باستخدام mini-swe-agent harness. وتستخدم التقارير الذاتية للمزوّدين واللوحات المجمّعة منهجيات أخرى؛ راجع صفحتنا «المراكز الأولى الثلاثة».
SWE-Bench Pro مقابل Verified — المعيار
SWE-Bench Verified (شائع منذ 2024): ~500 مهمة إصلاح مشكلات GitHub تم التحقق منها بشريًا. SWE-Bench Pro (سائد منذ 2026): النهج نفسه لكنه أصعب — سياق أطول، وملفات أكثر تعديلًا، وأقرب إلى سير عمل PR الواقعية. استقر Verified قرب 80% (5.2-Codex)، ولا يزال لدى Pro ~40 نقطة من الهامش، وهو الآن المعيار الأساسي. يقيس Terminal-Bench 2.0 مهام وكلاء الطرفية؛ ويقيس OSWorld مهام تشغيل GUI؛ ويقيس GDPval المعرفة المهنية.
تطور نتائج 2026 Q1-Q2
التطور المبكر: GPT-5.2-Codex (2026-01) Verified 80.0% / Pro 56.4%؛ GPT-5.3-Codex (2026-02) Pro 56.8% (أُوقف هذا النموذج في 2026-08)؛ GPT-5.5 Pro 58.6%. اللوحة المجمّعة بتاريخ 08-18 (بمنهجية llm-stats / benchlm): Mythos 5 80.3، Fable 5 80.0، Opus 5 79.2، Qwen3.8 Max 67.7، GPT-5.6 Sol 64.6، GLM-5.2 62.1. ملاحظة: تفيد بطاقة النظام الخاصة بـ Anthropic ذاتيًا بأن Fable 5 عند 80.3 (بالتعادل مع Mythos)، بينما تسجل اللوحة المجمّعة 80.0 — كلا الرقمين موجود؛ والفرق هو منهجية التقييم.
لوحة Scale AI الرسمية، بنصها الحرفي: المجموعتان العامة والخاصة (2026-10-07)
فيما يلي لوحة SWE-Bench Pro الرسمية التابعة لـ Scale AI كما جُلبت في 2026-10-07، منسوخة دون تحويل ودون انتقاء نماذج. مجموعة البيانات العامة (تذكر اللوحة 731 حالة)، أفضل 6: Muse Spark 1.1* 61.50 (معلَّم NEW)، gpt-5.4 (xHigh)* 59.10، Muse Spark* 55.00، claude-opus-4-6 (thinking)* 51.90، gemini-3.1-pro (thinking)* 46.10، claude-opus-4-5-20251101 45.89. مجموعة البيانات الخاصة (276 حالة مأخوذة من 18 قاعدة شيفرة خاصة ومملوكة لشركات ناشئة)، أفضل 4: Muse Spark 1.1* 51.5، claude-opus-4-6 (thinking)* 47.1، Muse Spark* 44.7، gpt-5.4(xHigh)* 43.4. دليل الرموز، بنصه الحرفي: Rank (UB) هو 1 + عدد النماذج التي يتجاوز حد CI الأدنى لها حد CI الأعلى لهذا النموذج؛ * تعني شُغّل باستخدام mini-swe-agent harness؛ الإدخالات غير المظللة بالرمادي شُغّلت بتكلفة غير محدودة وبحد أقصى للجولات قدره 250.
وصول موحّد إلى جميع النماذج الرئيسية عبر QCode
يوفر QCode.cc من داخل الصين بوابة API شفافة واحدة للوصول إلى جميع نماذج البرمجة الرئيسية — Claude (Opus 4.7 / Sonnet)، وGPT (5.5 / عائلة Codex)، والنماذج الصينية وغيرها. اشتراك واحد، وتُحتسب الفاتورة لكل token. في Claude Code وCodex CLI وCursor وCline وContinue، لا يعدو تبديل النماذج أن يكون تغيير base URL وmodel id — اضبط مرة واحدة، وشغّل في كل مكان.
FAQ
هل تعد نسبة 58.6% في SWE-Bench Pro مرتفعة؟ كيف ينبغي قراءة ذلك؟
Pro أصعب بكثير من Verified: فقد وصل Verified إلى التشبع (80%+)، بينما على Pro تقع أفضل الأرقام التي يعلنها المزوّدون حول 80، وتأتي أرقام Scale الرسمية للإطار الموحّد أدنى. قبل قراءة أي نتيجة على Pro، اسأل ثلاثة أسئلة: أي لوحة، وأي إطار تشغيل، وأي فئة جهد — التفاصيل في «المراكز الثلاثة الأولى في SWE-bench Pro».
لماذا يتفوق GPT-5.5 عام الأغراض على 5.3-Codex المتخصص في البرمجة على Pro؟
هذه صورة النصف الأول من 2026. يتصدر لوحة 08-18 المجمّعة الآن ثلاثة نماذج Claude (Mythos 5 / Fable 5 / Opus 5)، وأُحيل GPT-5.3-Codex إلى التقاعد في 2026-08 (انتقل إلى فئات GPT-5.6 الثلاث). منذ 2026-09-03 أصبح أعلى طراز في خط OpenAI هو GPT-6 Astra — لكن لاحظ أن OpenAI لم تنشر أي نتيجة SWE-bench Verified له لا في صفحة النموذج ولا في بطاقة النظام، لذا ليست له مرتبة قابلة للمقارنة على هذه اللوحة. لا تعامل الأرقام المتداولة في مكان آخر على أنها رسمية.
لم تُنشر نتيجة Opus 4.7 على Pro — كيف أقيّمه؟
على هذه اللوحة المجمّعة بتاريخ 2026-08-18، لا توجد لـ Opus 4.7 نتيجة Pro معلنة من المزوّد، لذا لا تصنّفه حسب النتيجة. انتقل موضعه إلى Opus 5؛ واعتبارًا من 2026-09-29، أحدث Opus من Anthropic هو Opus 5.5 (صدر في 2026-09-22، $4 / $20). راجع المتعقّب /claude-opus-5-2-status-tracker والمواصفات في /claude-opus-5-5-guide.
من SWE-Bench إلى واقع الإنتاج 2026: كيف تترجم الاختبارات المعيارية (أو لا تترجم) إلى التسليم
تأتي مهام SWE-Bench في الغالب من مستودعات قديمة عامة ربما رآها النموذج. أما قواعد الشيفرة الحقيقية فتحتوي على معرفة مجالية خاصة وعمليات بناء معقدة وتكامل بين الخدمات — ولا شيء من ذلك موجود في الاختبار المعياري.
الأسباب المحددة للفجوة: تلوث الاختبار المعياري، والمستودعات القديمة، والإخفاقات في المهام طويلة الأفق، وغياب اختبارات التكامل، والقيود الخاصة بالإنتاج. وإدراك هذه الأسباب هو الخطوة الأولى.
كيف تبني تقييمًا لمستودعك: استخدم المشكلات الحقيقية أو أوصاف PR كمهام، وسجّل معدل النجاح ومتوسط التكرارات والتدخلات البشرية وأخطاء الانحدار المدخلة. أنشئ بيانات قابلة للمقارنة داخليًا.
شرح المراكز الأولى الثلاثة في SWE-bench Pro
اختبار معياري للبرمجة طويل الأفق بمستوى المؤسسات أصدرته Scale AI في 2025-09: 1865 مهمة مستمدة من 41 مستودعًا احترافيًا. يستخدم الشق العام فقط تراخيص قوية من نوع copyleft على نمط GPL لكبح تلوث التدريب؛ أما الشق الخاص فهو شيفرة مغلقة المصدر من شركات ناشئة متعاقدة. التصحيح صارم: يجب أن تجعل الرقعة الاختبارات الجديدة من fail-to-pass تنجح من دون كسر أي اختبار قائم. إنه أصعب بمرتبة مقدارية من Verified — فالنماذج التي سجّلت 70%+ على Verified بدأت بنحو 23% على Pro.
المصادر الثلاثة لا تقيس النوع نفسه من «النتيجة» على الإطلاق: فبطاقات أنظمة المزوّدين تقدّم تقارير ذاتية على أدوات الاختبار الخاصة بها؛ ويخلط المجمّعون تقارير المزوّدين الذاتية مع إعادات تشغيل من أطراف ثالثة؛ وتعيد لوحة Scale الرسمية تشغيل كل شيء ضمن إطار SEAL الموحد وتعرض الشقين العام والخاص بشكل منفصل. وإذا أضفت مستويات جهد الاستدلال (high/xhigh) وتواريخ اللقطات، فقد يمتلك النموذج نفسه، بشكل مشروع، ثلاثة أو أربعة نتائج مختلفة.
توجد مجموعات الأرقام الثلاث كلها فعليًا، ولكل منها مصدرها؛ وتُفسَّر الاختلافات بالكامل بتقسيم البيانات (عام/خاص)، وبنية الاختبار (أداة اختبار المزوّد مقابل إطار SEAL الموحد)، ومستوى الجهد.
يمكن أن تكون العبارتان «X يتصدر SWE-bench Pro عند 80+» و«SWE-bench Pro يبلغ ذروته في نطاق 50s» صحيحتين معًا — فالأولى بمصطلحات التقارير الذاتية للمزوّد/المجمّع، والثانية بمصطلحات إطار Scale الرسمي الموحد. اذكر المصطلحات دائمًا عند اقتباس رقم.
الوصول إلى جميع نماذج البرمجة الرئيسية عبر QCode
يمكن استدعاء claude-opus-5-5 وclaude-opus-5 وclaude-fable-5 وgpt-6.1-sol وgpt-5.6-sol وglm-5.3 وkimi-k3 وdeepseek-v4-pro بمفتاح QCode واحد. الفوترة لكل token؛ وأسعار كل نموذج على /models.
ابدأ خطة QCodeإنشاء حساب QCode
مفتاح واحد لـ Claude وGPT والنماذج الصينية، والفوترة حسب token — الأسعار المباشرة على /models.