动察 Beating AI hızlı haber: Birleşik Krallık merkezli yapay zeka araştırma kuruluşu Prefrontal ve ETH Zürih araştırmacıları, ultra uzun bağlam için seyrek dikkat teknolojisi olan Latent Sparse Attention (LSA) yöntemini açık kaynak olarak yayımladı.
DeepSeek, MiniMax, Zhipu gibi modeller zaten seyrek dikkat kullanıyor ve her seferinde yalnızca az sayıda kritik Token işliyor, böylece hesaplamayı azaltıyor. Ancak bu Token'ları bulmak için mevcut yöntemlerin çoğu hâlâ hafif bir indeksleyiciyle tüm geçmiş bilgiyi tarayıp tek tek puanlama yapmak zorunda. Araştırmacılar 10 milyon Token'lık GLM-5.3-Flash deneyinde, tek katmanlı seyrek dikkatin ön doldurma süresinin %98'inin bilgi filtrelemeye harcandığını tespit etti.
LSA önce içerik benzerliğine göre farklı konumlardaki Token'ları gruplara ayırıyor, ardından indeksleyicinin bu grupları puanlamasını sağlayarak ilgili Token'ları seçiyor. Böylece normalde tek tek kontrol edilmesi gereken Token'lar önce grup bazında filtrelenebiliyor. Ekip ayrıca, modelin her seferinde tüm grupları taramak zorunda kalmadan arama alanını katman katman daraltmasını sağlayan çok düzeyli bir indeks oluşturmayı da denedi.
Araştırmacılar LSA'yı GLM-5.3-Flash ve Qwen-3.8-27B'ye entegre etti, orijinal model ağırlıklarını korudu ve yalnızca az miktarda indeks parametresi eğitti. NVIDIA H200 üzerinde GLM'nin tek katmanlı ön doldurması mevcut seyrek dikkate göre 22,7 kat daha hızlı, tüm modelin ilk Token gecikmesi yaklaşık %55 azaldı. Qwen ise mevcut tam dikkate kıyasla tek katmanlı ön doldurmada 72,4 kat daha hızlı, tüm modelin ilk Token gecikmesi yaklaşık %89 azaldı.
Ancak en yüksek hızlanma sonucu, hâlâ tüm grupları taraması gereken sürümden geldi. Arama miktarını daha da azaltabilen çok düzeyli indeks, GLM'nin on milyon Token testinde belirgin bir doğruluk düşüşü gösterdi.
Eğer doğruluk korunarak erişimin tüm geçmişi taraması önlenebilirse, yapay zekanın on milyonlarca Token'lık kod, literatür ve uzun süreli Agent çalışma kayıtlarını daha verimli işleme fırsatı doğabilir. Şu anda LSA anlamsal gruplamayla hızlanma etkisini doğrulamış durumda, ancak çok düzeyli erişimin daha da iyileştirilmesi gerekiyor.
