1.5TB'den 214GB'ye: Tencent, Hy4 preview için aşırı nicelendirme sürümü yaptı

动察 Beating AI hızlı haberi, Hy4 preview yeni açık kaynak olarak yayınlandı, Tencent Hunyuan ise aşırı nicemlenmiş bir sürüm çıkardı. Orijinal model ağırlıkları yaklaşık 1,5 TB iken, yeni GGUF sadece yaklaşık 214 GB, bu da 770B MoE modelinin yerel dağıtım eşiğini büyük ölçüde düşürüyor.

Bu, tüm modeli 1,25-bit'e sıkıştırmak anlamına gelmiyor. Tencent, farklı katmanların hassasiyete duyarlılığına göre ayrı ayrı nicemleme yapıyor; dayanıklı kısımlar en düşük yaklaşık 1,31-bit'e sıkıştırılırken, hassas kısımlar 2-bit veya daha yüksek hassasiyette korunuyor. Sonuçta tüm dosya ortalama yaklaşık 2,38 bpw. Tencent'in verdiği dört değerlendirmede, BF16 orijinaline kıyasla sadece 0,2 ila 1,6 puan düşüş gösteriyor.

Küçültüldükten sonra Tencent, prima.cpp ile heterojen cihazlarda birleşik çıkarım testi yaptı. Bir RTX 4090 dizüstü bilgisayar ve dört kartlı A4000 sunucusu, toplamda sadece 80GB GPU belleği ve 64GB RAM ile modeli 1,02 token/s hızında çalıştırdı; bu, dizüstü bilgisayarın tek başına offload yapmasından yaklaşık 6 kat daha hızlı. Farklı yapılandırmalara sahip birkaç cihaz da model çıkarımını birlikte paylaşabilir.