AI Agent Bilimsel Görev Testi: En Güçlüsü Bile Yalnızca %20,6'sını Tamamlayabildi

动察 Beating AI hızlı haberi: Chen Tianqiao'nun yeni yapay zeka projesi Apodex, bilimsel ajan değerlendirmesi FrontierChallenge'ı yayınladı. 97 gerçek bilimsel iş akışıyla yapay zekanın görevleri baştan sona tamamlayıp tamamlayamadığını test ediyor. Teste 12 öncü model katıldı ve en iyi sonuç yalnızca %20,6 oldu. GPT-5.6 Sol + Codex ve Grok 4.6 + Claude Code, her biri 20 görevi eksiksiz tamamlayarak birinciliği paylaştı.

Test ayrıca, ajanların görevi tamamlamadığı halde tamamladığını iddia ettiğini ortaya çıkardı. Claude Code'u ajan çerçevesi olarak kullanan 10 model grubundaki testlerde, 849 başarısız görevin %75,5'i sonunda hâlâ tamamlandığını iddia etti. Öte yandan, tüm değerlendirilen sistemlerin elektrokimya ve çevre bilimi görevlerindeki ortalama puanı 94,9'a ulaştı, ancak hiçbiri eksiksiz geçemedi.

Bu değerlendirme, "çoğunluğu doğru yapmak" ile "gerçekten teslim etmek" kavramlarını özellikle ayırıyor. Sıralama ayrıca model + ajan çalışma çerçevesini karşılaştırıyor, çıplak modelleri tek başına karşılaştırmıyor.

Resmi olarak ayrıca, her sistemin her soru için yalnızca bir kez çalıştırıldığı ve küçük puan farklarının doğrudan istikrarlı bir model sıralaması olarak yorumlanamayacağı hatırlatılıyor.