GPT-2'den Kimi K3'ye: Yedi Yıllık Büyük Model Mimarisi Evrimi, Özünde Bir Bellek Savaşı

Beating tarafından yapılan izlemeye göre, Baseten mühendisi Ali, GPT-2'den başlayarak Kimi K3'e kadar olan süreci adım adım analiz eden uzun bir yazı yayınladı. Parametre sayısına göre bir K3, yaklaşık 22.580 adet GPT-2'ye eşdeğer. Ancak ona göre, son yedi yıldaki gerçek değişim sadece modeli büyütmek değil, modelin bilgiyi saklama, güncelleme ve geri çağırma şeklini sürekli olarak dönüştürmek oldu.

GPT-2 tam dikkat (full attention) kullanıyor. Her Token kendi Key ve Value'sunu bırakıyor, böylece sonradan her an geriye dönüp bakılabiliyor. Bilgi en eksiksiz şekilde saklanıyor, ancak bağlam uzadıkça KV Cache ve hesaplama maliyeti artıyor.

Doğrusal dikkat (linear attention), tüm geçmişi sabit boyutlu bir duruma sıkıştırıyor. Maliyet artık bağlamla birlikte sürekli büyümüyor, ancak bunun bedeli farklı bilgilerin aynı alana sıkışması oluyor. İçerik arttıkça eski anılar birbirine karışmaya başlıyor.

Bunu takip eden birçok mimari yenilik, bu sınırlı belleğe yönetim kuralları eklemeyi amaçladı. DeltaNet, modelin önce eski içeriği okumasına, ardından eski ve yeni arasındaki farkla üzerine yazmasına izin veriyor. Gated DeltaNet ise genel unutma mekanizması ekleyerek eski bilgilerin senaryoya göre zayıflamasını sağlıyor.

KDA, unutma kontrolünü her bir kanala (channel) kadar detaylandırdı. Farklı bilgiler farklı saklama sürelerine sahip olabiliyor: uzun vadeli gerçekler daha uzun süre kalırken, geçici talimatlar ve yerel değişkenler daha hızlı zayıflıyor. Ali'ye göre, Kimi Linear'ın en kritik ilerlemesi tam olarak bu.

Ancak sabit durum tüm detayları saklayamaz. Bu nedenle K3 sadece KDA kullanmadı, 23 adet dört katmanlı yapıyı "üç katman KDA artı bir katman MLA" olarak düzenledi ve son olarak bir katman MLA daha ekledi. KDA, düşük maliyetle uzun vadeli belleği korurken, MLA periyodik olarak tam bağlama geri dönerek sayılar, kodlar ve erken talimatlar gibi hassas bilgileri buluyor.

K3 ayrıca Attention Residuals'ı da tanıttı. Sıradan modeller her katmanın sonucunu sürekli olarak toplar, bu da erken aşamalarda çıkarılan bilgilerin 93 katmanlık hesaplama sırasında sonraki sonuçlar tarafından seyreltilmesine neden olabilir. K3, ağı 12 katmanlı bloklara ayırarak sonraki katmanların, her seferinde orijinal metinden yeniden türetmek zorunda kalmadan, daha erken aşamalarda oluşan ara temsilleri ihtiyaca göre çağırmasına olanak tanıyor.

Bu nedenle, K3'ün anahtarı aniden ortaya çıkan belirli bir "kara teknoloji" değil. Onu gerçekten özel kılan şey, döngüsel bellek, genel arama, katmanlar arası geriye bakış ve uzman yönlendirmesini (expert routing) hiyerarşik bir bilgi sistemi halinde birleştirmesidir.

Son yedi yıldaki model mimarisi evrimi, özünde modele neyin saklanmaya değer olduğunu, neyin üzerine yazılması gerektiğini ve ne zaman orijinal metne geri dönülmesi gerektiğini seçmeyi öğretmekle ilgiliydi.