动察 Beating tarafından yapılan izlemeye göre OpenAI, AI ajanlarının genomik ve translasyonel tıp gibi karmaşık bilimsel araştırma senaryolarında çok adımlı karar verme yeteneklerini test etmek için GeneBench-Pro adlı hesaplamalı biyoloji değerlendirme kriterini yayınladı. Yeni kriter, toplam 129 sorudan oluşuyor (bunlardan 82'si harici uzmanlar tarafından incelendi) ve modelin kestirme yollar kullanarak veya soru hazırlayıcının tercihlerine uyum sağlayarak hile yapmasını önlemek için net nedensel ilişkilere sahip verileri bilgisayar simülasyonuyla üretiyor.
Test sonuçları, en iyi modellerin nicel belirsizlik içeren bilimsel akıl yürütmeyi işlemede hala çok zorlandığını gösteriyor. En güçlü model GPT-5.6 Sol, Pro modunda yalnızca %31,5 doğruluk oranına ulaşırken, Claude Opus 4.8'in doğruluk oranı yalnızca %16,0 oldu. Araştırma ekibi, modellerde genel olarak "anormallikleri tespit edebilme ancak sonraki analizleri düzeltememe" şeklinde bir kopukluk olduğunu ve sık sık yanlış istatistiksel yöntemler seçtiklerini veya hatalı bilimsel yönlerde ısrar ettiklerini belirtti.
