动察 Beating tarafından yapılan izlemeye göre Anthropic, Claude Fable 5 ve Claude Mythos 5 sistem kartlarında Mythos 5'in biyogüvenlik değerlendirmelerinde güçlü bir uzman yardımı yeteneği sergilediğini açıkladı. Bir bitki patolojisi kırmızı takım tatbikatında, 6 biyoloji doktorası, büyük model uzmanlarıyla eşleştirilerek Mythos 5'i kullanarak varsayımsal mühendislik ürünü tarımsal patojenlere karşı uçtan uca biyolojik direnç çözümleri tasarladı. Ekiplerden 3'ü bitki patolojisi uzmanlarından, diğer 3'ü ise genel mikrobiyoloji doktorlarından oluşuyordu.
Sonuçlar, 16 saat içinde 3 genel doktora ekibinden 2'sinin bilimsel kalite ve uygulanabilirlik açısından 3 uzman ekibin tamamını geride bıraktığını gösterdi. Uzman değerlendirmesine göre, bu stratejileri ve uygulama protokollerini AI araçları olmadan tamamlamak genellikle 40 ila 95 iş günü, ortalama yaklaşık 72,5 iş günü sürerdi. Anthropic, bunun Mythos 5'in CB-2 risk eşiğine en yakın olduğunu gösteren en güçlü tek kanıtlardan biri olduğunu ve modelin bazı görevlerde genel araştırmacılara dünya çapında uzman düzeyinde alan bilgisi desteği sağlayabildiğini belirtti.
Ancak bu, Mythos 5'in bağımsız olarak ileri düzey bilimsel araştırma yapabileceği anlamına gelmiyor. Anthropic aynı zamanda modelin hâlâ insan uzmanların fikirleri filtrelemesine bağımlı olduğunu, açık uçlu düşünme yeteneğinin zayıf olduğunu, mevcut literatürü karmaşık çözümler halinde yeniden birleştirme eğiliminde olduğunu ancak nadiren gerçekten yenilikçi yollar önerdiğini belirtti. Ayrıca model, kullanıcının sunduğu hatalı çerçeveyi takip etmeye devam etme eğiliminde ve bir çözümdeki kusurları tespit etse bile uygulamaya devam edebiliyor.
Bu değerlendirme, CUSP bilimsel tahmin kriteriyle de örtüşüyor. CUSP, 4760 bilimsel olayı kapsayarak modellerin araştırma ilerlemesine yönelik uygulanabilirlik değerlendirmesi, mekanizma tanımlama, çözüm üretme ve zaman tahmini yeteneklerini değerlendiriyor. Sonuçlar, GPT-5.4'ün dört seçenekli mekanizma tanımlama testinde %81,9, Claude S4.5'in ise %72,4 başarı elde ettiğini, ancak bilimsel ilerlemenin gerçekten gerçekleşip gerçekleşmeyeceğini belirleyen ikili sınıflandırma görevinde tüm modellerin doğruluk oranının yalnızca %45,3 ile %51,9 arasında olduğunu ve rastgele tahmine yaklaştığını gösterdi. Başka bir deyişle, mevcut büyük modeller yerel bilimsel araştırma adımlarını tamamlama konusunda oldukça başarılı olsa da, hangi bilimsel yolların gerçekten başarılı olacağını güvenilir bir şekilde değerlendiremiyor.
