动察 Beating tarafından yapılan izlemeye göre, ARC-AGI-3 değerlendirme kuruluşu ARC Prize, daha önce tüm modellerin aynı basit çağrı yöntemini kullanmasını şart koşarak, üreticilerin özel çerçevelerle puanları şişirmesini engellemişti. Bu sayede modelin gerçek yeteneklerini görmek daha kolay hale geliyor.
OpenAI'ın tartışmalı testine yanıt olarak, resmi ağızda bir esneme başladı. ARC Prize, geçmiş akıl yürütmeyi saklamanın ve aşırı uzun bağlamları sıkıştırmanın, modelin uzun görevleri işleme performansını gerçekten artırdığını kabul etti ve bu tür işlevlerin resmi değerlendirmeye nasıl dahil edileceğini araştırmaya başladı.
ARC-AGI'nin kurucusu François Chollet'in belirlediği sınır şu: Özellikle ARC için geliştirilen çerçeveler hâlâ kabul edilemez; ancak tüm API kullanıcılarının kullanabileceği genel ayarlar değerlendirilebilir. Ona göre, herkesin hangi ayarları kullandığı ve ne kadar harcadığı şeffaf olmalı.
Üreticilerin kendi hafıza ve bağlam yönetimine izin verildiğinde, ARC-AGI-3 artık sadece modelleri değil, aynı zamanda her API'nin arkasındaki mühendislik yeteneklerini de karşılaştıracak.
