Ana Sayfa
AI AI
Flaş
Derinlik
Etkinlikler
BlockBeats Pro
Daha Fazla
Finans
Özel
Blok Zinciri Ekosistemi
Giriş
Podkastlar
Veri
OPRR
#
BTC
$96,000
5.73%
ETH
$3,521.91
3.97%
HTX
$0.{5}2273
5.23%
SOL
$198.17
3.05%
BNB
$710
3.05%
lang
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
Partnered With:

腾讯混元Hy4,底层重做:DeepSeek seyrek dikkat mekanizması + Zhipu IndexCache birlikte kullanılıyor.

动察 Beating AI hızlı haberi: Tencent Hunyuan Hy4 preview bu sefer yalnızca modeli büyütmekle kalmadı, temel mimariyi de köklü şekilde değiştirdi. Önceki nesil Hy3 geleneksel tam dikkat mekanizmasını kullanırken, Hy4 Gated DSA'ya, yani DeepSeek Sparse Attention'ın kapılı sürümüne geçti. Model, çok uzun metinlerle karşılaştığında artık önceki tüm içeriği yeniden hesaplamıyor; bunun yerine önce en alakalı kısımları seçip bunlara odaklanıyor.


Hy4 ayrıca DSA'ya IndexCache ekledi. Modelin her katmanı başlangıçta "hangi içeriğin en önemli olduğunu" yeniden belirlemek zorundaydı; artık bazı katmanlar önceden seçilmiş sonuçları doğrudan yeniden kullanabiliyor ve birçok tekrarlı hesaplamayı azaltıyor.


Tencent, bu tasarımın DeepSeek ve GLM'den ilham aldığını açıkça belirtti.


Bir diğer değişiklik ise artık yapı (residual structure) ile ilgili. Geleneksel Transformer kabaca yalnızca tek bir bilgi ana hattına sahip olarak anlaşılabilir; Hy4, iHC kullanarak bunu 4 hatta genişletti ve modelin çok derin ağlarda aynı anda daha fazla bilgiyi korumasını sağladı. MoE uzman sayısı da Hy3'teki 192'den 256 yönlendirme uzmanı + 1 paylaşımlı uzmana çıkarıldı; her Token 8 yönlendirme uzmanı seçerken aynı zamanda her zaman paylaşımlı uzmandan geçiyor.

İlgiliÖnerilen
Bu yüzden var gücümüzle ileriye kürek çekiyoruz, akıntıya karşı, sürekli olarak geçmişe geri itiliyoruz.
V4-Pro-Max (Maximum Reasoning Intensity Mode) şu anda en güçlü açık kaynak modeli olarak bilinmekte olup, kodlama performansı en üst düzeye ulaşmıştır. Çıkarsama ve aracı görevi kapalı kaynak teknolojiye olan farkı belirgin bir şekilde azaltmıştır.
Eğitim ve çıkarım eşiğini düşürerek, daha fazla yerli depolama, yonga ve ağ sağlayıcısını yapay zeka altyapısı rekabetine dahil etmek
NVIDIA'nın Çin'deki Büyük Model Eğitimi Korumalığı, "Zorunlu"dan "İsteğe Bağlı"ya İndirgendi.
Düzeltme/Rapor
Gönder
Kütüphane Ekle
Sadece kendime görünür
Herkese Açık
Kaydet
Kütüphane Seç
Kütüphane Ekle
İptal
Tamamla