Ana Sayfa
AI AI
Flaş
Derinlik
Etkinlikler
BlockBeats Pro
Daha Fazla
Finans
Özel
Blok Zinciri Ekosistemi
Giriş
Podkastlar
Veri
OPRR
#
BTC
$96,000
5.73%
ETH
$3,521.91
3.97%
HTX
$0.{5}2273
5.23%
SOL
$198.17
3.05%
BNB
$710
3.05%
lang
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
Partnered With:

Cognition, FrontierCode'u tanıttı: Kod birleştirme kalitesini ölçen ilk AI değerlendirme seti.

Beating'in izlemesine göre Cognition, yapay zeka tarafından üretilen kodların yalnızca çalışma doğruluğunu değil, "birleştirilebilirliğini" (Mergeability) değerlendirmeye odaklanan yeni bir akıllı ajan kod değerlendirme seti olan FrontierCode'u tanıttı. Değerlendirme seti, Celery, Budibase, uppy ve Mattermost gibi 36 açık kaynak projenin bakımcılarıyla ortaklaşa geliştirildi. Her bir görev, geliştiriciler tarafından 40 saatten fazla sürede titizlikle hazırlanarak kod test kalitesi, tasarım standartları, değişiklik kapsamı ve stil kurallarını kontrol etmek için kullanılıyor.

FrontierCode, Extended (150 görev), Main (100 görev) ve Diamond (en zor 50 görev) olmak üzere üç seviyeye ayrılıyor. Oldukça zorlu Diamond görev setinde, mevcut büyük modellerin performansında hala büyük bir iyileştirme alanı bulunuyor: En iyi performans gösteren Claude Opus 4.8 yalnızca %13,4 puan alırken, GPT-5.5 %6,3, Gemini 3.1 Pro %4,7 ve açık kaynak modeller arasında en iyi performans gösteren Kimi K2.6 yalnızca %3,8 puan aldı.

Büyük modellerin hile veya spekülatif yöntemlerle testi geçmesini önlemek için değerlendirme seti, akıllı ajan tarafından yazılan testlerin orijinal hatalı kodda başarısız olmasını gerektiren ters testler ve değiştirilecek dosya sayısı ile satır sayısını sınırlayan kapsam kısıtlamaları dahil olmak üzere çeşitli değerlendirme mekanizmaları sunuyor. Geliştirme ekibi ayrıca, büyük model tabanlı mutagent aracını tasarlayarak test ortamını dinamik bir şekilde ayarlayıp makul farklılaştırılmış uygulamaları kabul ediyor ve değerlendirme hata oranını SWE-Bench Pro'nun beşte birine düşürüyor.

举报 Düzeltme/Rapor
İlgiliÖnerilen
Yeni nesil girişimciler artık sahneye çıktı. Karşılarında duran şey, Olimpos'tan çok daha zor bir soru olan "Yapay Zeka'nın Dünyayı Nasıl Yeniden Şekillendireceği"dir.
Düzeltme/Rapor
Gönder
Kütüphane Ekle
Sadece kendime görünür
Herkese Açık
Kaydet
Kütüphane Seç
Kütüphane Ekle
İptal
Tamamla