动察 Beating tarafından yapılan izlemeye göre, büyük modellerin kendi kendini düzeltme sırasında aşırı özgüven gösterme eğilimine karşı Anthropic ekibi, makine öğrenimi eğitim zorlukları kapsamında karşılaştırmalı testler gerçekleştirdi. Deneyde, Fable 5'in kendi kendini eleştirmesine izin verilmedi; bunun yerine, CMA'nın Outcomes özelliği kullanılarak bağımsız bir bağlam penceresinde, 9 kriter içeren bir spesifikasyon dosyasına dayalı bir puanlama ajanı oluşturuldu.
Sonuçlar, bağımsız bir hakem içeren döngüsel tasarımın, Fable 5'in eğitim hattındaki iyileştirme oranını Opus 4.7'ye kıyasla 6 kat artırdığını gösterdi. Fable 5, yalnızca büyük mimari değişiklikler yapmaya eğilimli olmakla kalmadı, aynı zamanda niceliksel geri dönüşlerle karşılaştığında bile onarımları sürdürerek güçlü bir mühendislik dayanıklılığı sergiledi. Buna karşılık, Opus 4.7, karar sınırlamaları nedeniyle yalnızca şablonlara göre skaler sabitleri ince ayarlayan muhafazakar bir duruma düştü.
Bir başka deneyde, oturumlar arası çevrimiçi öğrenmeyi test eden veritabanı sorgulama çalışmasında ekip, paylaşılabilir bir bağlı dosya sistemi kullanarak büyük modellerin belleği verimli kullanması için beş adımlı bir yöntem özetledi: başarısızlıkları kaydetme, nedenleri teşhis etme, gerçekleri doğrulama, genel kurallar çıkarma ve doğrudan kuralları arama.
Karşılaştırmalı testler, farklı modellerin performansında ciddi bir kademelenme olduğunu ortaya koydu. Sonnet 4.6, yalnızca yüzeysel olarak hataları kaydetti ve körü körüne tahminler yaptı, neredeyse hiçbir zaman geçmişe başvurmadı. Opus 4.7, belirsizlik işaretleri içeren desen referansları oluşturabildi, ancak doğrulama kapsamı yalnızca %17 civarındaydı. Fable 5 ise bellek zincirini tamamen tamamlayarak %73 doğrulama kapsamına ulaştı ve teşhisleri genel kurallar halinde özetledi.
Deneyler, geri bildirime yanıt verebilen kendi kendini düzeltme döngüleri ve otonom bellek yönetimi tasarlamanın, büyük modelleri yönlendirmek için doğrudan istemler yazmaktan daha pratik bir değere sahip olduğunu gösterdi.
