动察 Beating tarafından yapılan takibe göre, Moonshot AI, Kimi K3 teknik raporunu yayınladı. K3, toplam 2,8 trilyon parametreye sahip olup, her Token için 104 milyar parametre aktifleştiriyor. Temel mimari, K2'ye kıyasla tamamen yenilenmiş durumda.
Parametrelerin büyümesi sadece bir kısım. Moonshot AI, yeni mimari, veri ve eğitim yöntemlerinin K3'ün genel ölçekleme verimliliğini K2'ye göre yaklaşık 2,5 kat artırdığını belirtiyor. Scaling Law eğrisine göre, aynı doğrulama kaybına ulaşmak için gereken eğitim hesaplama miktarı, K2'nin yaklaşık %40'ı kadar.
K3 öncelikle dikkat mekanizmasını yeniden yazdı. Uzun dizileri işlemek için KDA kullanıyor ve her üç katmanda bir küresel bir MLA ekliyor. KDA, önceki içeriği sabit boyutlu bir duruma sıkıştırarak milyonlarca Token bağlamında hesaplama ve önbellek yükünü azaltıyor; MLA ise küresel bilgi alışverişini korumakla görevli.
Ayrıca Attention Residuals ekledi. Geleneksel modeller yalnızca önceki tüm katmanların bilgilerini sürekli olarak biriktirebilirken, K3 her katmanın daha erken ağ bloklarından doğrudan ihtiyaç duyduğu içeriği seçmesine olanak tanıyor. Model derinleştikçe, erken bilgilerin seyrelmesi daha zor hale geliyor.
MoE de yeniden tasarlandı. K3, 896 yönlendirme uzmanına sahip olup, her Token 16'sını aktifleştiriyor; bu, K2'nin iki katı. Yönlendirme uzmanları önce sıkıştırılmış bir alanda hesaplama yapıyor, ardından modelin ana gövdesine dönüyor. Yeni aktivasyon fonksiyonları ve yük dengeleme algoritmaları, büyük model eğitiminin kontrolden çıkmasını önlemek için kullanılıyor.
Agent yeteneklerini gerçekten artıran şey ise eğitim sonrası aşama. Moonshot AI, sırasıyla genel, Agent ve kod modellerini eğitiyor, ardından her yön için üç farklı düşünme yoğunluğu eğitiyor ve son olarak dokuz uzmanı birleştiriyor. Eğitim görevleri en fazla binlerce araç çağrısı içerebiliyor ve dosyalar, uygulamalar ile sanal makine durumlarını sürekli olarak koruyor.
K3, birçok kod, arama ve araç çağrısı testinde Fable 5 ve GPT-5.6 Sol gibi üst düzey kapalı kaynak modellere yaklaştı veya onları geride bıraktı. Bu sıçrama yalnızca parametre yığmaktan ibaret değil; daha büyük bir temel, yeni mimari ve milyonlarca Token Agent pekiştirmeli öğrenmesini aynı anda sınıra kadar zorlamaktan kaynaklanıyor.
