Terminal-Bench 2.1
سه صدرنشین — کدام را باور کنیم
همان بنچمارک، اما جدول رسمی، Artificial Analysis و vals.ai هرکدام برنده متفاوتی را معرفی میکنند. این فاصله ناشی از بازی با امتیاز نیست — ناشی از harness، سطح تلاش و تاریخ‌های اسنپشات است.
به‌روزرسانی شده 2026-11-14
فراتر از جدول رده‌بندی — یک کلید برای اینکه خودتان Claude، GPT و مدلهای چینی را محک بزنید.
- صورت‌حساب بهازای توکن — نرخ‌های زنده در /models
- پرداخت با کارت (Visa / Mastercard)، Apple Pay، Google Pay یا رمزارز
- به‌صورت خودخدمت: شارژ حساب و فعال‌سازی فوری
سه صدرنشین
جدول رسمی · Claude Code × Fable 5
tbench.ai، ورودی ترکیب عامل + مدل، سطح xhigh، اسنپشات 2026-06-07، $552.67 بهازای هر اجرا.
آنالیز مصنوعی · GPT-5.6 Sol
سطح استدلال xhigh. Opus 5 با 89.1 در جایگاه بعدی است، Grok 4.6 با 88.4 سوم است (به نقل از The Batch، 08-21).
vals.ai · GPT-5.6 Sol
هارنس یکپارچه Terminus 2، pass@1. Opus 5 با 84.64، Kimi K3 با 80.90.
تسک‌ها
تسکهای Terminal از آموزش مدل تا کارهای sysadmin را در بر میگیرد و بر اساس دشواری درجهبندی می‌شوند؛ در زمان عرضه هیچ مدلی در سطح سخت از 50% فراتر نرفت.
Terminal-Bench 2.1 چیست
Terminal-Bench یک بنچمارک متن‌باز جامعه‌محور برای عامل‌های ترمینال است: مدلها باید وظایف را واقعاً داخل یک ترمینال سندباکسشده کامل کنند — برای مثال، «یک مدل fasttext روی داده‌های yelp در data/ آموزش دهید، آن را زیر 150MB نگه دارید و روی یک مجموعه آزمون خصوصی به دقت 0.62 برسید.» نسخه 2.1 دارای 89 وظیفه است که آموزش مدل، مدیریت سیستم و موارد دیگر را در بر میگیرد و با pass@1 امتیازدهی می‌شود: یک وظیفه فقط زمانی حساب می‌شود که همه بررسیهای pytest همراه آن قبول شوند. کار با ترمینال قلمرو اصلی عامل‌هایی مانند Claude Code، Codex و Cursor است و همین، این بورد را به معیاری سخت برای کدنویسی عاملی تبدیل میکند.
چرا این بحث در اوت 2026 شعله‌ور شد
از 08-08 رسانه‌های متعدد به اعداد Artificial Analysis استناد کرده‌اند: GPT-5.6 Sol با 89.5 در برابر Claude Opus 5 با 89.1 — فاصله 0.4 در صدر؛ در 08-21، The Batch گزارش داد که Grok 4.6 با 88.4 به سه نفر اول می‌رسد. در همین حال، صدرنشین رسمی tbench.ai یعنی Claude Code × Fable 5 با 83.8 است — هر دو مجموعه عدد درست‌اند، فقط نوع یکسانی از «مدل» را نمی‌سنجند. و یادداشتهای عرضه GLM-5.3 پیش‌تر به Terminal-Bench 3.0 اشاره کرده‌اند و 2.1 را به جدول نسل قبل تبدیل کرده‌اند.
خط زمانی
ورودی صدرنشین فعلی در جدول رسمی: Claude Code × Fable 5 (xhigh) با 83.8.
اعداد «Sol 89.5 در برابر Opus 5 89.1» در Artificial Analysis کم‌کم در پوشش رسانه‌ها منتشر می‌شوند.
The Batch: Grok 4.6 با 88.4 به سه مدل برتر می‌پیوندد؛ اسنپشات هم‌دوره vals.ai این‌ها را نشان می‌دهد: Sol 85.77 / Opus 5 84.64 / K3 80.90.
تأییدشده در برابر اشتباه‌خوانی رایج
تأیید شد
هر سه جدول رتبه‌بندی واقعاً با اعداد قابل راستی‌آزمایی وجود دارند: tbench.ai رسمی (ترکیبهای عامل + مدل، چارچوب harbor)، vals.ai (هارنس یکپارچه Terminus 2، pass@1)، Artificial Analysis (آزمون‌های مستقیم مدل با سطوح تلاش برچسبخورده). تفاوت‌ها از هارنس و سطح ناشی می‌شوند، نه از داده‌های ساختگی.
به‌راحتی اشتباه خوانده می‌شود
تیترهایی مانند «مدل X صدرنشین Terminal-Bench می‌شود» تقریباً هرگز نمی‌گویند کدام جدول، کدام عامل یا کدام سطح تلاش. جدول رسمی ترکیبهای «عامل + مدل» را می‌سنجد (مثلاً Claude Code × Fable 5)، نه مدل خالی را؛ خواندن نمره ترکیب به‌عنوان نمره مدل، رایج‌ترین اشتباه است.
هزینه را پیش از امتیازها مقایسه کنید
امتیازها نزدیک‌اند
دو مدل برتر جدول رسمی 0.7 اختلاف دارند (83.8 در مقابل 83.1)؛ در Artificial Analysis این اختلاف 0.4 است. 2.1 برای مدلهای پیشرو نزدیک به اشباع است.
اختلاف هزینه چند برابری است
هزینه هر اجرا در جدول رسمی: $552.67 برای ترکیب Fable 5 و $2,059.19 برای ترکیب GPT-5.5. با همان بازه امتیازی، تقریباً 4 برابر بودجه.
چگونه خودتان آن را دوباره اجرا کنید
چارچوب رسمی harbor است: harbor run -d terminal-bench/terminal-bench-2-1 -a "<agent>" -m "<model>" -k 5. برای مقایسه مدلها، عامل و سطح تلاش را ثابت نگه دارید؛ برای انتخاب عامل، مدل را ثابت نگه دارید. اسنپ‌شات‌های vals.ai و Artificial Analysis به‌عنوان بررسی متقابل کار میکنند.
در QCode
در میان مدلهای صدرنشین هر سه جدول، Fable 5، Opus 5، Sonnet 5، GPT-5.6 Sol و Terra، Kimi K3 و GLM-5.2 را می‌توان یکی‌یکی با همان کلید در QCode دوباره اجرا کرد، بدون آنکه هر پلتفرم را جداگانه شارژ حساب کنید. صورت‌حساب بر اساس توکن است؛ نرخ هر مدل در /models فهرست شده است. سری Grok در QCode متصل نیست؛ برای آن‌ها از کانال‌های رسمی استفاده کنید.
پرسش‌های متداول
پس واقعاً چه کسی در Terminal-Bench 2.1 صدرنشین است؟
بستگی به جدول دارد: tbench.ai رسمی Claude Code × Fable 5 (83.8) را اعلام میکند، Artificial Analysis می‌گوید GPT-5.6 Sol (89.5)، و اسنپشات vals.ai هم Sol (85.77) را دارد. هارنس‌ها و امتیازدهی آن‌ها متفاوت است.
چرا اعداد رسمی تا این حد پایینتر هستند؟
جدول رسمی ترکیبهای «عامل + مدل» را با تاریخ اسنپشات برای هر ورودی آزمون میکند؛ vals.ai زیر هارنس یکپارچه Terminus 2 دوباره آزمون میگیرد، و Artificial Analysis مدلها را مستقیماً با سطوح تلاش برچسبخورده میآزماید. هارنس قویتر، سطح بالاتر، امتیاز بالاتر.
89 تسک چه چیزهایی را پوشش میدهند؟
تسکهای واقعی در ترمینال سندباکسشده: آموزش مدل، مدیریت سیستم، پردازش داده و موارد بیشتر، با درجهبندی بر اساس دشواری. امتیازدهی با pass@1 — همه بررسیهای pytest همراه باید موفق شوند.
آیا Terminal-Bench 3.0 منتشر شده است؟
فروشندگان از قبل به آن استناد میکنند: یادداشتهای انتشار GLM-5.3 به TB 3.0 اشاره دارند، و صفحههای مقایسه شخص ثالث Opus 5 را 42.7 / Sol را 34.6 نشان میدهند. این آزمون بهطور معناداری سختتر است؛ بالاترین امتیازهای 2.1 نزدیک به اشباعاند.
اجرای دوباره چقدر هزینه دارد؟
ورودیهای جدول رسمی یک ستون هزینه دارند: $552.67 برای هر اجرا با ترکیب Fable 5، $2,059.19 برای ترکیب GPT-5.5. یک پلتفرم API یکپارچه پرداخت بهازای مصرف بهمراتب ارزانتر از مشترک شدن جداگانه در هر پلتفرم است.
کدام جدول باید مبنای انتخاب باشد؟
عاملها را از جدول رسمی انتخاب کنید (امتیازهای ترکیبی)، مدلهای بدون عامل را از vals.ai (هارنس یکپارچه)، و از Artificial Analysis برای بررسیهای سریع بین مدلها استفاده کنید. هیچ عدد واحدی نباید تنها مبنا باشد.
منابع
جدول رسمی tbench.ai (بازیابی‌شده در 2026-08-22)، روش‌شناسی و اسنپ‌شات‌های Terminal-Bench 2.1 در vals.ai، Artificial Analysis (به نقل از felloai و The Batch، 2026-08-21)، BuildApps (2026-08-08).
یک کلید — خودتان به نتیجه برسید
مدلهای پیشرو روی همان نقطه پایانی QCode، با قیمت رسمی ضربدر نرخ سرویس ما قابل فراخوانی هستند؛ بودجه اجراهای مجدد را شما کنترل می‌کنید.
مطالب مرتبط
رتبه‌بندی SWE-bench Pro 2026
آخرین رتبه‌ها در بنچمارک سطح مخزن با افق بلند.
توضیح نمره Claude Fable 5 در SWE-Bench Pro
عدد 80.3% از کجا می‌آید، روش‌شناسی رسمی در برابر بازتولید مستقل، و این عدد باید چقدر در تصمیم شما وزن داشته باشد
رادار مدلهای هوش مصنوعی 2026
ردیابی قیمت و دسترس‌پذیری در خانواده‌های پرچم‌دار.
راهنمای پرداخت با رمزارز
نه رمزارز، 56 شبکه، کارمزد پلتفرم صفر برای اعتبار API کدنویسی با هوش مصنوعی.
اعداد جدول رتبه‌بندی، اسنپشات 2026-08-22 هستند و با به‌روزرسانی جدول‌ها تغییر میکنند. وابسته به هیچ سازمان بنچمارکی نیستیم.