Beating'in izleme raporuna göre, yapay zeka şirketi Writer, büyük modellerin kullanıcıların anlık itirazlarına karşı koyabildiğini, ancak önyargılar kullanıcının "uzun vadeli tercihleri" olarak belleğe yazıldığında modellerin büyük ölçüde taviz verdiğini belirten iki makale yayımladı. Başlangıçta deneyimi iyileştirmek için tasarlanan bellek işlevi, modellerin hata yapması için bir zemin haline geldi.
Araştırma, Mem0, MemOS ve Zep gibi harici bellek sistemlerini test etti. Bilimsel testlerde, uzun vadeli bellek, depolanan hatalı görüşleri tekrar tekrar çağırarak model hata oranını belleksiz duruma göre 2 ila 4 kat artırdı; daha yetenekli GPT-5.2 bile bundan muaf değildi. Yaratıcı öneri görevlerinde ise, bellekte kullanıcı tercihleri depolandığında, model ilgisiz senaryolarda bile aynı önerileri sık sık tekrarladı ve müdahale oranı %87'nin üzerine çıkarak yaratıcı çeşitliliği yarı yarıya azalttı.
Finansal analiz ajanları (Agent) testlerde de büyük ölçüde hata yaptı: önyargılı tercihler yerleştirildiğinde, bazı modellerin muhakeme doğruluğu %70'in üzerinde düştü. Ayrıca, tercih bilgileri bellek araçları tarafından arka plan verisi olarak çağrıldığında, model hatalı cevaplar verirken kullanıcı etkisini tamamen reddetti ve bu da uyum yanlılığının tespit edilmesini ve engellenmesini son derece zorlaştırdı.
Uyum yanlılığını önlemek kolay değil. Geleneksel komut satırı savunmaları yalnızca sınırlı bir etkiye sahip olmakla kalmaz, aynı zamanda modelin arama yeteneğini de zayıflatır. Şu anda daha etkili bir yöntem, giriş ucunda veri kaynaklarına güvenilirlik puanları vermektir (örneğin, resmi belgelere 0,95, kullanıcı tercihlerine 0,05) ve böylece modelin önyargıyı görmezden gelmesi sağlanır. Araştırma ekibi, kişiselleştirilmiş ajanların gelecekteki temel zorluğunun artık kullanıcıyı hatırlamamak değil, kullanıcının önyargılarını da hatırlamaktan kaçınmak olduğunu vurguladı.
