动察 Beating tarafından yapılan izlemeye göre, finans teknolojisi tek boynuzlu atı Ramp, yapay zeka kodlama ajanları için özel bir test kriteri olan Ramp SWE-Bench'i yayınladı. Ramp SWE-Bench, Ramp'ın gerçek üretim ortamından alınan 80 backend geliştirme görevini içeriyor ve kamuya açık değerlendirme veri setlerinde model ön eğitimi nedeniyle oluşan veri sızıntısı ve metrik doygunluğu sorunlarını çözmeyi hedefliyor.
Test görevlerinin tamamı, Ramp'ın dahili yapay zeka kodlama asistanı Inspect'in başarıyla üretim ortamına dağıttığı gerçek çekme isteklerinden (PR) alınmıştır. Her görev, PR gönderilmeden önceki temel kod tabanını yeniden yapılandırır, birleştirilmiş kodu ve testleri altın standart olarak saklar ve mühendislerin Inspect diyaloglarındaki orijinal niyetlerini istem olarak çıkarır. Değerlendirme, mini-swe-agent sanal alan ortamını kullanır ve tek bir çalıştırmada tüm testleri geçip mevcut işlevselliği bozmamayı (pass@1) geçme kriteri olarak alır.
Yayınlanan 14 modelin yatay karşılaştırma sonuçlarına göre, Anthropic'in en yeni modeli Claude Fable 5, %87,5'lik çözüm oranıyla zirvede yer alıyor. Claude Opus 4.7 ve GPT-5.5, %83,75'lik çözüm oranıyla ikinci sırayı paylaşıyor. Claude Opus 4.8'in çözüm oranı %77,5 olsa da, tek görev başına ortalama çalışma süresi 8 dakika 30 saniyeye düşürülmüş ve tek çalıştırma maliyeti yalnızca 1,09 dolar olup, Fable 5'in çalıştırma maliyetinin %40'ından azını oluşturarak mükemmel bir maliyet etkinliği sergiliyor.
Test verileri ayrıca farklı modeller arasındaki fiyat ve performans dengesini de ortaya koyuyor. Yerli modellerden Kimi K2.6 ve GLM 5.1'in çözüm oranları sırasıyla %72,5 ve %71,25 ile benzerlik gösterirken, Kimi K2.6'nın ortalama maliyeti 0,69 dolar olup GLM 5.1'den yaklaşık %34 daha ucuz. Hafif modeller arasında GPT-5.4 Mini, %58,75'lik çözüm oranıyla Claude Haiku 4.5'i yaklaşık 10 puan geride bırakıyor ve ortalama maliyet ile adım sayısı yarıya iniyor. Ramp, modeller uygulamaya geçtikçe performans, hız ve maliyet arasındaki dengenin mühendislik uygulamalarında kritik bir faktör haline geldiğini belirtiyor.
