Ana Sayfa
AI AI
Flaş
Derinlik
Etkinlikler
BlockBeats Pro
Daha Fazla
Finans
Özel
Blok Zinciri Ekosistemi
Giriş
Podkastlar
Veri
OPRR
#
BTC
$96,000
5.73%
ETH
$3,521.91
3.97%
HTX
$0.{5}2273
5.23%
SOL
$198.17
3.05%
BNB
$710
3.05%
lang
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
Partnered With:

Kimi K3, Fable 5'e nasıl yaklaştı? Ayın Karanlık Yüzü, dikkat, artık ve MoE'yi aynı anda yeniden yazıyor.

动察 Beating tarafından yapılan takibe göre, Moonshot AI, Kimi K3 teknik raporunu yayınladı. K3, toplam 2,8 trilyon parametreye sahip olup, her Token için 104 milyar parametre aktifleştiriyor. Temel mimari, K2'ye kıyasla tamamen yenilenmiş durumda.

Parametrelerin büyümesi sadece bir kısım. Moonshot AI, yeni mimari, veri ve eğitim yöntemlerinin K3'ün genel ölçekleme verimliliğini K2'ye göre yaklaşık 2,5 kat artırdığını belirtiyor. Scaling Law eğrisine göre, aynı doğrulama kaybına ulaşmak için gereken eğitim hesaplama miktarı, K2'nin yaklaşık %40'ı kadar.

K3 öncelikle dikkat mekanizmasını yeniden yazdı. Uzun dizileri işlemek için KDA kullanıyor ve her üç katmanda bir küresel bir MLA ekliyor. KDA, önceki içeriği sabit boyutlu bir duruma sıkıştırarak milyonlarca Token bağlamında hesaplama ve önbellek yükünü azaltıyor; MLA ise küresel bilgi alışverişini korumakla görevli.

Ayrıca Attention Residuals ekledi. Geleneksel modeller yalnızca önceki tüm katmanların bilgilerini sürekli olarak biriktirebilirken, K3 her katmanın daha erken ağ bloklarından doğrudan ihtiyaç duyduğu içeriği seçmesine olanak tanıyor. Model derinleştikçe, erken bilgilerin seyrelmesi daha zor hale geliyor.

MoE de yeniden tasarlandı. K3, 896 yönlendirme uzmanına sahip olup, her Token 16'sını aktifleştiriyor; bu, K2'nin iki katı. Yönlendirme uzmanları önce sıkıştırılmış bir alanda hesaplama yapıyor, ardından modelin ana gövdesine dönüyor. Yeni aktivasyon fonksiyonları ve yük dengeleme algoritmaları, büyük model eğitiminin kontrolden çıkmasını önlemek için kullanılıyor.

Agent yeteneklerini gerçekten artıran şey ise eğitim sonrası aşama. Moonshot AI, sırasıyla genel, Agent ve kod modellerini eğitiyor, ardından her yön için üç farklı düşünme yoğunluğu eğitiyor ve son olarak dokuz uzmanı birleştiriyor. Eğitim görevleri en fazla binlerce araç çağrısı içerebiliyor ve dosyalar, uygulamalar ile sanal makine durumlarını sürekli olarak koruyor.

K3, birçok kod, arama ve araç çağrısı testinde Fable 5 ve GPT-5.6 Sol gibi üst düzey kapalı kaynak modellere yaklaştı veya onları geride bıraktı. Bu sıçrama yalnızca parametre yığmaktan ibaret değil; daha büyük bir temel, yeni mimari ve milyonlarca Token Agent pekiştirmeli öğrenmesini aynı anda sınıra kadar zorlamaktan kaynaklanıyor.

İlgiliÖnerilen
Citigroup ve Bank of America Securities, Kimi K3'ün çıkarım maliyetlerini düşürmesine rağmen, "Jevons Paradoksu" aracılığıyla daha fazla çağrı, uzun bağlam ve ajan görevlerini teşvik ederek GPU, HBM, DDR5, eSSD ve ağ altyapısı talebini artırabileceğini düşünüyor.
Yabancı, Sovyet uydusunun fırlatıldığı günden daha şaşkın olduğunu söylüyor.
Anthropic, Mythos seviyesindeki modeli Fable 5'i normal kullanıcılara açtı ve yüksek riskli yetenekleri izin seviyeleriyle sınırlandırdı.
Düzeltme/Rapor
Gönder
Kütüphane Ekle
Sadece kendime görünür
Herkese Açık
Kaydet
Kütüphane Seç
Kütüphane Ekle
İptal
Tamamla