动察 Beating tarafından yapılan izlemeye göre, Terminal-Bench 3.0'ın en son listesinde lider değişti. Bu değerlendirme, AI ajanlarının gerçek terminal ortamlarında görevleri tamamlamasını sağlıyor ve sonunda sonuçların doğru olup olmadığını doğrudan kontrol ediyor.
Şu anki ilk üç sıra şöyle:
1. Claude Opus 5 Max + mini-SWE-agent: %43,5
2. GPT-5.6 Sol Max + Codex: %34,6
3. Claude Fable 5 + Claude Code: %34,1
Terminal-Bench 3.0, 23 Temmuz'da yayına girdi ve amacı soruları yeniden zorlaştırmak. Eski sürümde öncü modellerin puanları birbirine yaklaşmıştı; yeni sürümün farkı yeniden açması bekleniyor. İlk sürümde 7 alanı kapsayan 74 görev bulunuyor ve GPU, çoklu konteyner ağları gibi daha karmaşık ortamlar da eklenmiş. Görevler yalnızca kod yazmakla sınırlı değil; model ağırlıklarını gönderme, biçimsel kanıtlar, elektronik tablolar ve CAD dosyaları da istenebiliyor.
Ancak bu, Opus 5'in Sol'dan yaklaşık 9 puan daha güçlü olduğu şeklinde doğrudan yorumlanamaz. Terminal-Bench, modellerin farklı ajanlarla çalışmasına izin veriyor; ilk üç sıra sırasıyla mini-SWE-agent, Codex ve Claude Code kullanmış. Ajan, modelin araçları nasıl çağıracağını, komutları nasıl yürüteceğini ve bağlamı nasıl işleyeceğini belirler; bu nedenle liste daha çok "model + ajan" sisteminin bütünsel yeteneğini ölçüyor.
