OpenAI baş bilim insanı Astra tartışmalarına yanıt verdi: Yeni mimari modeli aniden kara kutu haline getirmedi.

动察 Beating AI hızlı haberi: OpenAI baş bilim insanı Jakub Pachocki, Astra'nın döngüsel mimarisine yönelik dışarıdaki bazı yorumları çürüttü. Astra dahil olmak üzere OpenAI'ın mevcut öncü modellerinin hesaplama grafiği derinliğinin GPT-4'ten en fazla 2 kat farklı olduğunu ve aniden birkaç kat artmadığını söyledi.

Bu esas olarak The Information'ın daha önceki raporuna bir yanıt niteliğinde. Raporda Astra'nın recurrent depth kullandığı ve aynı Transformer katman grubunun tekrar tekrar hesaplandığı iddia ediliyordu. Bu sayede bazı akıl yürütmeler modelin içinde gerçekleşebilir ve hepsinin zincir düşünce (CoT) olarak yazılması gerekmez; bu da modellerin izlenmesinin giderek zorlaşıp zorlaşmayacağına dair endişeleri tetikledi.

Pachocki, CoT izlemenin gerçekten kırılgan olduğunu ve izlenmesi daha zor bir yöne doğru ilerlediğini kabul etti. Ancak bunun nedeninin model mimarisi değişikliklerine bağlı olmadığını açıkça belirtti. OpenAI, ilk nesil akıl yürütme modellerinden itibaren CoT izlemeyi koruyor ve kullanıyor; şu anda bu yeteneği güçlendirmeyi hâlâ temel araştırma hedefi olarak listeliyor.