Ana Sayfa
AI AI
Flaş
Derinlik
Etkinlikler
BlockBeats Pro
Daha Fazla
Finans
Özel
Blok Zinciri Ekosistemi
Giriş
Podkastlar
Veri
OPRR
#
BTC
$96,000
5.73%
ETH
$3,521.91
3.97%
HTX
$0.{5}2273
5.23%
SOL
$198.17
3.05%
BNB
$710
3.05%
lang
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
Partnered With:

Databricks, gerçek kod tabanlarını kullanarak Agent'ları test etti ve GLM 5.2, birinci kademeye girdi.

动察 Beating tarafından yapılan izlemeye göre, Databricks, kendi milyonlarca satırlık kod tabanındaki gerçek PR'ları kullanarak dahili bir AI kodlama ajanı değerlendirmesi yayınladı.

Bu değerlendirme doğrudan SWE-Bench kullanmadı. Databricks, açık soru setlerinin eğitim verilerine dahil olabileceğini ve gerçek mühendislik çalışmalarına yeterince yakın olmadığını düşünüyor.

Test görevleri, yakın zamanda birleştirilmiş PR'lardan seçildi ve Python, Go, TypeScript, Scala gibi dilleri kapsıyor. Ekip, bot gönderimlerini, AI tarafından üretilen kodları ve otomatik oluşturulan kodları filtreleyerek yalnızca sonuçları doğrulanabilen görevleri bıraktı.

Sonuçlar, kodlama ajanlarının kabaca üç seviyeye ayrıldığını gösterdi. En üst seviye yalnızca OpenAI ve Anthropic modellerini değil, aynı zamanda açık kaynak modelleri de içeriyor. GLM 5.2, kalite açısından Opus 4.8'e yakın olarak birinci kademeye girdi ve görev başına maliyeti 1,28 dolar ile Opus 4.8'in 1,94 dolarının altında kaldı.

Değerlendirme ayrıca, token başına fiyatın doğrudan gerçek maliyeti yansıtmadığını ortaya koydu. Sonnet 5, token başına daha ucuz olmasına rağmen, bu görevlerde daha uzun süre çalıştı ve daha fazla okuma yaptı, bu da görev başına maliyetin daha yüksek olmasına yol açtı.

Araç kabuğu da kritik öneme sahip. Aynı model farklı ajan çerçeveleriyle kullanıldığında, görev maliyeti 2 kattan fazla fark edebilirken, tamamlanma kalitesi büyük ölçüde değişmedi.

Düzeltme/Rapor
Gönder
Kütüphane Ekle
Sadece kendime görünür
Herkese Açık
Kaydet
Kütüphane Seç
Kütüphane Ekle
İptal
Tamamla