Beating'in izlemesine göre Cognition, yapay zeka tarafından üretilen kodların yalnızca çalışma doğruluğunu değil, "birleştirilebilirliğini" (Mergeability) değerlendirmeye odaklanan yeni bir akıllı ajan kod değerlendirme seti olan FrontierCode'u tanıttı. Değerlendirme seti, Celery, Budibase, uppy ve Mattermost gibi 36 açık kaynak projenin bakımcılarıyla ortaklaşa geliştirildi. Her bir görev, geliştiriciler tarafından 40 saatten fazla sürede titizlikle hazırlanarak kod test kalitesi, tasarım standartları, değişiklik kapsamı ve stil kurallarını kontrol etmek için kullanılıyor.
FrontierCode, Extended (150 görev), Main (100 görev) ve Diamond (en zor 50 görev) olmak üzere üç seviyeye ayrılıyor. Oldukça zorlu Diamond görev setinde, mevcut büyük modellerin performansında hala büyük bir iyileştirme alanı bulunuyor: En iyi performans gösteren Claude Opus 4.8 yalnızca %13,4 puan alırken, GPT-5.5 %6,3, Gemini 3.1 Pro %4,7 ve açık kaynak modeller arasında en iyi performans gösteren Kimi K2.6 yalnızca %3,8 puan aldı.
Büyük modellerin hile veya spekülatif yöntemlerle testi geçmesini önlemek için değerlendirme seti, akıllı ajan tarafından yazılan testlerin orijinal hatalı kodda başarısız olmasını gerektiren ters testler ve değiştirilecek dosya sayısı ile satır sayısını sınırlayan kapsam kısıtlamaları dahil olmak üzere çeşitli değerlendirme mekanizmaları sunuyor. Geliştirme ekibi ayrıca, büyük model tabanlı mutagent aracını tasarlayarak test ortamını dinamik bir şekilde ayarlayıp makul farklılaştırılmış uygulamaları kabul ediyor ve değerlendirme hata oranını SWE-Bench Pro'nun beşte birine düşürüyor.
