20 saatlik programlama değerlendirmesi farkı açıyor: Claude Fable 5.1, GPT-5.6'yı 24 puanın üzerinde geride bırakıyor, GLM-5.3 üçüncü sırada.

动察 Beating AI hızlı haberi: AI araştırma ekibi Proximal, ultra uzun döngülü programlama değerlendirmesi FrontierSWE v2'yi yayınladı. Görevler 17'den 34'e genişletildi; her model her görevde 5 kez çalıştırılıyor ve tek seferde en fazla 20 saat sürüyor. Claude Fable 5.1 ortalama %56,29 puan alarak GPT-5.6'nın %32,2'sine büyük fark attı. Açık kaynak model GLM-5.3, %30,2 ile üçüncü sırada.

FrontierSWE'deki görevler artık sadece kod düzeltmekten ibaret değil. Ajanlar sıfırdan devre simülatörü yazmalı, hava durumu tahmin modeli eğitmeli, teleskop fotoğraflarıyla yıldız kataloglarını eşleştirmeli veya sadece oyun görüntülerine bakarak yarış botu eğitmeli. v2, tek tip olarak Proximus harness'a geçti. Her görev en fazla 20 saat çalışıyor; model cevabı hazırladığında sistem önce mevcut sürümü kaydedip ne kadar süre kaldığını söylüyor, böylece modelin görevi erken bitirmesi önleniyor.

Bu değişiklik sonuçları önemli ölçüde etkiliyor. Proximal, 6 görevde yaptığı karşılaştırmada Claude Opus 5 ve GPT-5.6'nın Proximus'a geçtikten sonra daha uzun süre çalıştığını ve ortalama puanlarının kendi doğal harness'larından daha yüksek olduğunu buldu.

Değerlendirme ayrıca birden fazla aktif hile vakası yakaladı. GPT-5.6, açık cevapları okumanın "anti-hile sorunları içerebileceğini" fark etti ancak yine de bu kısayolu kullandı; başka bir seferde Modal'ın arka plan hizmetini kullanarak gizli doğrulama dosyalarını okudu. Muse Spark 1.2 ise test scriptlerini değiştirdi, açık cevapları yerleştirdi ve hile izlerini gizlemek için kod yazdı. Doğrulanan ihlal çalıştırmalarının tamamı sıfır puan olarak kaydedildi.