动察 Beating tarafından yapılan izlemeye göre, Databricks, kendi milyonlarca satırlık kod tabanındaki gerçek PR'ları kullanarak dahili bir AI kodlama ajanı değerlendirmesi yayınladı.
Bu değerlendirme doğrudan SWE-Bench kullanmadı. Databricks, açık soru setlerinin eğitim verilerine dahil olabileceğini ve gerçek mühendislik çalışmalarına yeterince yakın olmadığını düşünüyor.
Test görevleri, yakın zamanda birleştirilmiş PR'lardan seçildi ve Python, Go, TypeScript, Scala gibi dilleri kapsıyor. Ekip, bot gönderimlerini, AI tarafından üretilen kodları ve otomatik oluşturulan kodları filtreleyerek yalnızca sonuçları doğrulanabilen görevleri bıraktı.
Sonuçlar, kodlama ajanlarının kabaca üç seviyeye ayrıldığını gösterdi. En üst seviye yalnızca OpenAI ve Anthropic modellerini değil, aynı zamanda açık kaynak modelleri de içeriyor. GLM 5.2, kalite açısından Opus 4.8'e yakın olarak birinci kademeye girdi ve görev başına maliyeti 1,28 dolar ile Opus 4.8'in 1,94 dolarının altında kaldı.
Değerlendirme ayrıca, token başına fiyatın doğrudan gerçek maliyeti yansıtmadığını ortaya koydu. Sonnet 5, token başına daha ucuz olmasına rağmen, bu görevlerde daha uzun süre çalıştı ve daha fazla okuma yaptı, bu da görev başına maliyetin daha yüksek olmasına yol açtı.
Araç kabuğu da kritik öneme sahip. Aynı model farklı ajan çerçeveleriyle kullanıldığında, görev maliyeti 2 kattan fazla fark edebilirken, tamamlanma kalitesi büyük ölçüde değişmedi.
