动察 Beating AI hızlı haberi: Tencent Hunyuan Hy4 preview bu sefer yalnızca modeli büyütmekle kalmadı, temel mimariyi de köklü şekilde değiştirdi. Önceki nesil Hy3 geleneksel tam dikkat mekanizmasını kullanırken, Hy4 Gated DSA'ya, yani DeepSeek Sparse Attention'ın kapılı sürümüne geçti. Model, çok uzun metinlerle karşılaştığında artık önceki tüm içeriği yeniden hesaplamıyor; bunun yerine önce en alakalı kısımları seçip bunlara odaklanıyor.
Hy4 ayrıca DSA'ya IndexCache ekledi. Modelin her katmanı başlangıçta "hangi içeriğin en önemli olduğunu" yeniden belirlemek zorundaydı; artık bazı katmanlar önceden seçilmiş sonuçları doğrudan yeniden kullanabiliyor ve birçok tekrarlı hesaplamayı azaltıyor.
Tencent, bu tasarımın DeepSeek ve GLM'den ilham aldığını açıkça belirtti.
Bir diğer değişiklik ise artık yapı (residual structure) ile ilgili. Geleneksel Transformer kabaca yalnızca tek bir bilgi ana hattına sahip olarak anlaşılabilir; Hy4, iHC kullanarak bunu 4 hatta genişletti ve modelin çok derin ağlarda aynı anda daha fazla bilgiyi korumasını sağladı. MoE uzman sayısı da Hy3'teki 192'den 256 yönlendirme uzmanı + 1 paylaşımlı uzmana çıkarıldı; her Token 8 yönlendirme uzmanı seçerken aynı zamanda her zaman paylaşımlı uzmandan geçiyor.
