美团, eğitimden çıkarıma kadar tamamen yerli çipler kullanan ilk trilyonluk büyük modeli LongCat-2.0'ı açık kaynak olarak yayınladı.

动察 Beating tarafından yapılan takibe göre, Meituan, büyük ölçekli hibrit uzman (MoE) modeli LongCat-2.0'ı açık kaynak olarak yayınladı. Model, toplam 1,6 trilyon parametreye sahip olup, tek token başına yaklaşık 48 milyar parametreyi etkinleştiriyor ve 1M'lik ultra uzun bağlamı destekliyor.

Bu, tamamen yerli bilgi işlem gücüyle eğitim ve çıkarım sürecini tamamlayan sektördeki ilk trilyon parametreli büyük modeldir. Model, 50.000'den fazla yerli AI çip kümesi üzerinde 35 trilyon token ile ön eğitim gerçekleştirerek, yerli bilgi işlem gücünün öncü büyük modelleri taşıma konusundaki mühendislik istikrarını başarıyla doğruladı.

LongCat-2.0'ın temel güncellemeleri, uzun bağlam ve çıkarım verimliliğine odaklanıyor. LongCat Sparse Attention (LSA), seyrek dikkat indekslerinin getirdiği bellek okuma ve hesaplama yükünü ele alarak, akış algılayıcı indeksler, katmanlar arası indeksler ve hiyerarşik indeksler sunuyor. Bu sayede, uzun metin çıkarımı sırasında indeks okumaları daha sürekli hale geliyor ve bitişik katmanlar arasında bazı indeks sonuçları yeniden kullanılabiliyor.

Model ayrıca, 135 milyar parametreli 5-gram gömme modülünü entegre ediyor. Bu modül, bitişik token kombinasyonlarını modelleyerek gömme alanını genişletiyor ve yerel bağlam ifadesini güçlendiriyor. Yalnızca MoE uzman yönlendirmesine güvenmek yerine, bu tür ön gömme işlemleri, büyük batch çıkarımında bellek okuma/yazma yükünü kısmen azaltabiliyor.

SWE-bench Pro gibi ana akım Agent ve kod değerlendirmelerinde LongCat-2.0, bazı ana akım kapalı kaynak modellere yakın veya onları aşan bir performans sergiliyor.