Ana Sayfa
AI AI
Flaş
Derinlik
Etkinlikler
BlockBeats Pro
Daha Fazla
Finans
Özel
Blok Zinciri Ekosistemi
Giriş
Podkastlar
Veri
OPRR
#
BTC
$96,000
5.73%
ETH
$3,521.91
3.97%
HTX
$0.{5}2273
5.23%
SOL
$198.17
3.05%
BNB
$710
3.05%
lang
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
Partnered With:

Baseten, KV önbellek sıkıştırma çözümü Still'i tanıttı: Tek ileri yönlü yayılımda sıkıştırma oranı 200 kata kadar çıkabiliyor.

动察 Beating tarafından yapılan izlemeye göre, Baseten araştırma ekibi, Still adlı KV önbellek sıkıştırma yöntemini yayınladı. Bu yöntem, temel model parametrelerini dondurup yalnızca hafif bir Perceiver sıkıştırıcı eğiterek, tek bir ileri yayılımda KV önbellek sıkıştırmasını tamamlıyor ve çevrimiçi optimizasyon veya gradyan güncellemesi gerektirmeden en fazla 200 kat sıkıştırma oranına ulaşıyor.

Mevcut KV sıkıştırma yöntemleri kabaca iki kategoriye ayrılır. Birinci kategori, SnapKV ve H2O gibi orijinal Token'lardan önemli önbellekleri seçer. İkinci kategori ise doğrudan yeni sıkıştırılmış önbellekler oluşturur, ancak genellikle her bağlam için çevrimiçi optimizasyon gerektirir. Still, Amorti Sentez (Amortized Synthesis) yaklaşımını benimseyerek, Transformer'ın her katmanına temel modelin yaklaşık %1'i kadar parametreye sahip bir Perceiver sıkıştırıcı ekler ve örtük sorgular aracılığıyla tam KV önbelleği üzerinde çapraz dikkat (cross-attention) gerçekleştirerek doğrudan yeni sıkıştırılmış KV önbelleği oluşturur.

Qwen ve Gemma modelleri üzerinde yapılan testlerde Still, 8k ila 64k bağlam ve 8 ila 200 kat sıkıştırma oranı aralığında yüksek doğruluk oranını korudu. Uzun bağlam kıyaslaması RULER'da Still, çoğu ayarda SnapKV, H2O ve KV-Distill gibi yöntemleri geride bırakırken, matched-training görevlerinde KV-Distill'den yaklaşık 8 ila 22 puan daha iyi performans gösterdi. HELMET çoklu belge özetleme testinde, sıkıştırılmış önbellek, tam bağlam performans kazancının %74 ila %95'ini geri kazanmayı başardı.

Orijinal Token'ları korumayı veya çevrimiçi optimizasyona dayanmayı gerektiren yöntemlerle karşılaştırıldığında Still, KV sıkıştırmasını tek bir ileri çıkarımla tamamlanabilen bir öğrenme sürecine dönüştürerek, aşırı uzun bağlam çıkarımları için yeni bir önbellek sıkıştırma yolu sunuyor.

举报 Düzeltme/Rapor
Düzeltme/Rapor
Gönder
Kütüphane Ekle
Sadece kendime görünür
Herkese Açık
Kaydet
Kütüphane Seç
Kütüphane Ekle
İptal
Tamamla