Karınca UBTree, spekülatif kod çözmeyi geliştiriyor: taslak ağacını paralel olarak filtreleyerek büyük modelin tek seferde daha fazla Token doğrulamasını sağlıyor

动察 Beating AI hızlı haber: Ant Group'un Bailing'i, büyük model spekülatif kod çözme çözümü UBTree'yi açık kaynak olarak yayınladı.

Spekülatif kod çözme, küçük modelin önceden "taslak hazırlamasını", ardından büyük modelin birden fazla Token'ı tek seferde doğrulamasını sağlayarak Token'ların tek tek üretilmesi için gereken hesaplama turlarını azaltır.

Ancak taslağın da isabet oranı sorunu vardır. Küçük model ne kadar erken yanlış tahmin ederse, sonrasında doğrudan kullanılabilecek içerik o kadar azalır. Daha önceki teknikler, aynı anda birden fazla aday yol hazırlayıp bunları bir taslak ağacı halinde birleştiriyor ve kabul edilme olasılığı düşük dalları buduyordu.

UBTree, filtreleme yöntemini geliştirdi. Önce sonraki birkaç konumda ortaya çıkabilecek Token'ları paralel olarak tahmin ediyor, ardından hafif bir model kullanarak komşu Token'ların makul şekilde birbirine bağlanıp bağlanamayacağını değerlendiriyor. Farklı kombinasyonlar aynı anda puanlanabiliyor ve her yol boyunca modelin tekrar tekrar çalıştırılması gerekmiyor. Ardından daha umut verici dallar seçilerek bir taslak ağacı oluşturuluyor ve doğrulama için büyük modele veriliyor.

Ekip ayrıca filtreleme modelinin eğitim yöntemini ayarlayarak yalnızca en yüksek olasılıklı yanıta odaklanmakla kalmayıp saklanmaya değer alternatif yolları da tanımasını sağladı; böylece büyük model her turda daha fazla Token kabul etme fırsatı buluyor.

Qwen3-4B üzerindeki yedi testte, DFlash 2 seçicisiyle ağaç oluşturmanın ortalama hızlanma oranı 5,95 katıydı. UBTree seçicisine geçilip eğitim yöntemi ayarlandıktan sonra bu oran 6,88 kata yükseldi; bu da orijinal çözüme kıyasla yaklaşık %16'lık ek bir iyileşmeye denk geliyor.