美团, trilyon parametreli büyük modeli LongCat-2.0'ı açık kaynak olarak yayınladı ve aynı anda Çin yapımı kartlar için çıkarım kodunu da açtı.
动察 Beating tarafından yapılan izlemeye göre, Meituan, toplam 1,6T parametreye ve ortalama 48B aktivasyona sahip, gerçek Agentic Coding görevleri için özel olarak tasarlanmış trilyon parametreli büyük model LongCat-2.0'ı resmi olarak açık kaynak olarak yayınladı. Mimari olarak, LongCat seyrek dikkat mekanizması ve N-gram Embedding yenilikçi bir şekilde tanıtıldı; ilki, akış algılamalı indeksleme ve hiyerarşik indeksleme yoluyla parçalanmış bellek erişimini azaltarak milyonlarca seviyedeki uzun bağlam eğitimi ve çıkarımını hızlandırırken; ikincisi, MoE seyrekliğinin %97'ye yaklaştığı bir durumda 135B parametreyi gömme katmanına entegre ederek parametre kazancı ile yapısal kararlılığı dengeler. Son eğitimde, çoklu öğretmen çevrimiçi damıtma kullanılarak uzmanlar Agent, akıl yürütme ve etkileşim olmak üzere üç kategoriye ayrıldı ve MOPD mimarisi aracılığıyla yerli bilgi işlem kümesinde sorunsuz bir şekilde birleştirildi. Sektörde 50.000 kartlık yerli bilgi işlem kümesinde çıkarım yapan ilk trilyon parametreli model olan LongCat-2.0, yerli çiplerin karmaşık büyük model görevlerini üstlenme konusundaki olgun yeteneğini doğruladı.
Çin yerli çiplerinin bellek, bant genişliği ve ara bağlantı konusundaki çoklu kısıtlamalarına karşı Meituan, model, çip uyumluluğu ve dağıtım olmak üzere üç yönde atılımlar gerçekleştirdi: Model düzeyinde, ScMoE aracılığıyla yerli çiplerin çekirdek kontrol yeteneği kullanılarak Dense ve MoE dallarının fiziksel çekirdek seviyesinde paralel çalışması sağlandı ve KV-cache bölümleme ile aşırı uzun bağlam bellek baskısı hafifletildi; çip uyumluluğu düzeyinde, Super Kernel ile operatör başlatma yükü azaltıldı ve Weight Prefetch ile I/O gecikmesi gizlenerek kısıtlı koşullar altında donanım kullanımı maksimize edildi; dağıtım düzeyinde, PD ayrımı ile TTFT ve TPOT dengelenirken, asenkron Expert-Parallel yük dengeleme ile büyük EP derecelerindeki dengesiz yük sorunu çözüldü. Bu açık kaynak sürümü, BF16, FP8 ve INT8 gibi çoklu hassasiyet versiyonlarını da içeriyor ve yerli bilgi işlem için aşırı optimize edilmiş çıkarım sonuçlarını tamamen açık hale getiriyor; hedef, mevcut yerli kartlar ve hatta eski kartlar üzerinde trilyon parametreli büyük model çıkarım hizmetlerinin sorunsuz bir şekilde dağıtılmasını sağlamak.
---------------------------------
Aşağıdaki orijinal bağlantıya tıklayarak, 7×24 saat kesintisiz küresel AI trendlerini ve haberlerini izleyen 动察 Beating · Feishu AI haber kanalına katılın.
