动察 Beating AI hızlı haberi: AI Agent şirketi Einsia, SWE Refactor Bench'i yayınladı. Bu, Coding Agent'ın tüm kod tabanını kendi başına taşıyıp taşıyamayacağını özel olarak test ediyor. 20 görev, SQLite, zlib, libsodium, GraphHopper gibi gerçek projelerden geliyor; C'den Rust'a geçiş, Maven'den Gradle'a geçiş, SQLite'ın WASI'ye taşınması gibi görevler içeriyor. Her görev için Agent'a 6-30 saat süre veriliyor.
Değerlendirmenin ilk aşaması, eski teknoloji yığınının gerçekten değiştirilip değiştirilmediğini kontrol ediyor; Agent'ın eski kodu bırakıp geçiştirmesini önlüyor. İkinci aşama, 130.000'den fazla sabit kontrolü çalıştırıyor. Son olarak, 6 bağımsız Coding Agent görevlendiriliyor ve her biri 1 saat boyunca gizli hataları özel olarak arıyor.
8 öncü model ve 26 farklı yapılandırma ile toplam 520 deneme yapıldı. 340 deneme gerçekten taşımayı tamamladı, 88 deneme önceden hazırlanan tüm testleri yeşile çevirdi, ancak bunlardan 60'ı son turda gizli hatalar bulunarak elendi. Sonunda yalnızca 28 deneme tamamen başarılı oldu; başarı oranı %5,4. 20 görevden 13'ünü kimse tamamlayamadı. Claude Opus 5'in xhigh yapılandırması en iyisiydi; 20 görevden 5'ini eksiksiz tamamladı.
Günümüzde Coding Agent'lar büyük ölçekte kod değiştirebiliyor, ancak "tüm sistemi değiştirip hiç hata yapmadan tamamlamak" konusunda hâlâ çok uzaktalar.
