腾讯混元Hy4 açık kaynak: toplam 770 milyar parametre, 1 milyon bağlam uzunluğu

动察 Beating AI hızlı haberi: Tencent, Hy4 preview'ı yayınladı ve açık kaynak olarak sundu. Yeni model MoE mimarisini kullanıyor, toplam parametre sayısı 770B, her seferinde 49B aktif, bağlam 1M'ye genişletildi. Hy3'ün 295B toplam parametre, 21B aktif parametre ve 256K bağlamıyla karşılaştırıldığında, bu nesil ölçek doğrudan iki katından fazla artmış, uzun bağlam da yaklaşık 4 katına çıkarılmış.

Tencent bu sefer yalnızca genel kıyaslama puanlarına vurgu yapmadı, özellikle kod, ofis, oyun ve bilimsel araştırma gibi gerçek görevleri güçlendirdi. Örneğin, model sıfırdan Three.js 3D web sitesi kurabiliyor, Unity içinde oynanabilir oyun demosu üretebiliyor ve aynı anda 72 finansal dosyayı işleyerek mükerrer geri ödemeleri, limit aşımlarını ve bütçe anormalliklerini kontrol edebiliyor. Hy4 ayrıca WorkBuddy, CodeBuddy gibi Tencent ürünleriyle birlikte eğitilip yinelemeli olarak geliştiriliyor.

Daha da özel olan nokta, Hy4'ün kendi geliştirme sürecine katılmaya başlamış olması. Tencent, modelin eğitim yöntemlerini, veri stratejilerini, değerlendirme sistemlerini ve temel operatörleri optimize etmeye yardımcı olduğunu, kendi önerilerini sunduğunu, deneyler çalıştırdığını ve sonuçlara göre ayarlamalar yapmaya devam ettiğini belirtiyor. Deneylerden üretilen kod, günlükler ve geri bildirimler bir sonraki geliştirme turuna giriyor ve şimdiden ilk aşamada bir kendini iyileştirme döngüsü oluşmuş durumda.

Hy4 preview, WorkBuddy, CodeBuddy, Yuanbao, ima, Tencent Cloud TokenHub ve OpenRouter'a entegre edildi. Tencent daha önce finansal raporlarında Hy4'ün Hy3'ten daha büyük olacağını ve gerçek ürün geri bildirimlerinin model eğitimi için önemli bir kaynak olacağını önceden duyurmuştu.