OpenAI'nin en yeni modeli Astra, Byte mimarisini kullanıyor: Transformer aynı katmanı tekrar tekrar hesaplıyor.

动察 Beating AI hızlı haberi: OpenAI'ın yakında piyasaya süreceği Astra, recurrent depth adı verilen döngüsel bir akıl yürütme mimarisi kullanıyor; buna looped transformer da deniyor. Normal bir Transformer her Token ürettiğinde, sabit bir şekilde katman katman ağlardan geçer; Astra ise aynı bilginin aynı katman grubundan tekrar tekrar geçmesine izin verir, birkaç tur daha hesaplar ve ardından çıktı verir.

Bu yol, Byte geçen yıl zaten kamuya açık olarak denemişti. Seed ekibinin yayınladığı Ouro, bir Looped Language Model'dir; aynı şekilde bir grup Transformer katmanını döngüsel olarak çalıştırır ve daha fazla hesaplamayı modelin içine koyar. Model, daha uzun düşünce zincirleri üretmek zorunda kalmadan da akıl yürütme hesaplama miktarını artırabilir. Bu sayede daha küçük modeller daha fazla hesaplama kullanarak daha büyük modellere yakın sonuçlar elde edebilir.

Bu mimari aynı zamanda bir güvenlik sorununu da beraberinde getirir. Akıl yürütmenin bir kısmı iç gizli durumlarda gerçekleşir; insanlar tam metin kaydını göremez, bu da düşünce zinciri üzerinden modelin kural ihlali yapıp yapmadığını kontrol etmeyi zorlaştırır. Bu nedenle OpenAI, Astra'nın recurrent depth kullanımını sınırlandırdı; böylece okunabilir bir düşünce zinciri korunur ve ek CoT izleme eklenmesi planlanır.