Döngüsel Transformer yeni mimarisi: RLT, Token'lar arasında "hesaplamaya devam et" sağlıyor

动察 Beating AI hızlı haber: Princeton doktora öğrencisi Yifan Zhang, Recurrent Looped Transformer (RLT) önerdi ve Transformer'a sürekli ileriye aktarılan bir iç durum ekledi.

Sıradan bir Transformer bir sonraki Token'ı üretirken esas olarak Attention ve KV önbelleği aracılığıyla önceki metni okur. RLT, önceki metne bakmanın yanı sıra, bir önceki Token hesaplandıktan sonra kalan iç durumu doğrudan bir sonraki Token'a kullanması için verir.

Bunu modele bir "düşünce bayrak sopası" eklemek gibi anlayabilirsiniz. İlk Token hesaplandıktan sonra mevcut durumu ikinciye aktarır; ikinci güncelledikten sonra üçüncüye aktarır. Her Token'ın kendi çalıştırdığı ağ katmanı sayısı değişmez, ancak bu durum zinciri metin uzadıkça daha da uzar. Makale bunu "sonsuz zaman derinliği" olarak adlandırıyor; bu, hesaplama zincirinin sabit bir uzunluk üst sınırı olmadığını ifade eder.

Son zamanlarda daha çok tartışılan Ouro, Astra benzeri döngüsel mimarilerden de oldukça farklıdır. O tür yöntemler esas olarak aynı Token'ın aynı ağ içinde birkaç tur daha çalışmasını sağlar; RLT ise farklı Token'lar arasında iç durumun sürekli aktarılmasını sağlar. İlki, bir soruyu teslim etmeden önce birkaç kez daha kontrol etmeye benzer; ikincisi ise bir sopanın koşuyu bitirip elindeki ilerlemeyi doğrudan bir sonrakine vermesine daha çok benzer.