动察 Beating tarafından yapılan izlemeye göre, Baseten araştırma ekibi, Still adlı KV önbellek sıkıştırma yöntemini yayınladı. Bu yöntem, temel model parametrelerini dondurup yalnızca hafif bir Perceiver sıkıştırıcı eğiterek, tek bir ileri yayılımda KV önbellek sıkıştırmasını tamamlıyor ve çevrimiçi optimizasyon veya gradyan güncellemesi gerektirmeden en fazla 200 kat sıkıştırma oranına ulaşıyor.
Mevcut KV sıkıştırma yöntemleri kabaca iki kategoriye ayrılır. Birinci kategori, SnapKV ve H2O gibi orijinal Token'lardan önemli önbellekleri seçer. İkinci kategori ise doğrudan yeni sıkıştırılmış önbellekler oluşturur, ancak genellikle her bağlam için çevrimiçi optimizasyon gerektirir. Still, Amorti Sentez (Amortized Synthesis) yaklaşımını benimseyerek, Transformer'ın her katmanına temel modelin yaklaşık %1'i kadar parametreye sahip bir Perceiver sıkıştırıcı ekler ve örtük sorgular aracılığıyla tam KV önbelleği üzerinde çapraz dikkat (cross-attention) gerçekleştirerek doğrudan yeni sıkıştırılmış KV önbelleği oluşturur.
Qwen ve Gemma modelleri üzerinde yapılan testlerde Still, 8k ila 64k bağlam ve 8 ila 200 kat sıkıştırma oranı aralığında yüksek doğruluk oranını korudu. Uzun bağlam kıyaslaması RULER'da Still, çoğu ayarda SnapKV, H2O ve KV-Distill gibi yöntemleri geride bırakırken, matched-training görevlerinde KV-Distill'den yaklaşık 8 ila 22 puan daha iyi performans gösterdi. HELMET çoklu belge özetleme testinde, sıkıştırılmış önbellek, tam bağlam performans kazancının %74 ila %95'ini geri kazanmayı başardı.
Orijinal Token'ları korumayı veya çevrimiçi optimizasyona dayanmayı gerektiren yöntemlerle karşılaştırıldığında Still, KV sıkıştırmasını tek bir ileri çıkarımla tamamlanabilen bir öğrenme sürecine dönüştürerek, aşırı uzun bağlam çıkarımları için yeni bir önbellek sıkıştırma yolu sunuyor.
