Ana Sayfa
AI AI
Flaş
Derinlik
Etkinlikler
BlockBeats Pro
Daha Fazla
Finans
Özel
Blok Zinciri Ekosistemi
Giriş
Podkastlar
Veri
OPRR
#
BTC
$96,000
5.73%
ETH
$3,521.91
3.97%
HTX
$0.{5}2273
5.23%
SOL
$198.17
3.05%
BNB
$710
3.05%
lang
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
Partnered With:

Yapay zekanın tüm kod tabanını taşıması, %94,6 başarısız oldu: 20 görevden 13'ü kimse tarafından tamamlanamadı.

动察 Beating AI hızlı haberi: AI Agent şirketi Einsia, SWE Refactor Bench'i yayınladı. Bu, Coding Agent'ın tüm kod tabanını kendi başına taşıyıp taşıyamayacağını özel olarak test ediyor. 20 görev, SQLite, zlib, libsodium, GraphHopper gibi gerçek projelerden geliyor; C'den Rust'a geçiş, Maven'den Gradle'a geçiş, SQLite'ın WASI'ye taşınması gibi görevler içeriyor. Her görev için Agent'a 6-30 saat süre veriliyor.


Değerlendirmenin ilk aşaması, eski teknoloji yığınının gerçekten değiştirilip değiştirilmediğini kontrol ediyor; Agent'ın eski kodu bırakıp geçiştirmesini önlüyor. İkinci aşama, 130.000'den fazla sabit kontrolü çalıştırıyor. Son olarak, 6 bağımsız Coding Agent görevlendiriliyor ve her biri 1 saat boyunca gizli hataları özel olarak arıyor.


8 öncü model ve 26 farklı yapılandırma ile toplam 520 deneme yapıldı. 340 deneme gerçekten taşımayı tamamladı, 88 deneme önceden hazırlanan tüm testleri yeşile çevirdi, ancak bunlardan 60'ı son turda gizli hatalar bulunarak elendi. Sonunda yalnızca 28 deneme tamamen başarılı oldu; başarı oranı %5,4. 20 görevden 13'ünü kimse tamamlayamadı. Claude Opus 5'in xhigh yapılandırması en iyisiydi; 20 görevden 5'ini eksiksiz tamamladı.


Günümüzde Coding Agent'lar büyük ölçekte kod değiştirebiliyor, ancak "tüm sistemi değiştirip hiç hata yapmadan tamamlamak" konusunda hâlâ çok uzaktalar.

举报 Düzeltme/Rapor
Düzeltme/Rapor
Gönder
Kütüphane Ekle
Sadece kendime görünür
Herkese Açık
Kaydet
Kütüphane Seç
Kütüphane Ekle
İptal
Tamamla