ChatGPT'nin uzun sohbet yükleme hızı %94 arttı: 741 tur diyalog 28 saniyeden 2 saniyeye düştü

动察 Beating tarafından yapılan izlemeye göre, OpenAI, ChatGPT ve Codex'in aşırı uzun sohbet deneyimini optimize etmeye hazırlanıyor ve önümüzdeki hafta yayınlanacak. Dahili testlerde, 741 tur ve 231MB'lık devasa bir sohbetin ardından, ortalama açılış süresi 27,62 saniyeden 1,66 saniyeye düştü ve yükleme hızı yaklaşık %94 arttı.

Bu optimizasyon esas olarak sohbet geçmişi yüklemeye odaklanıyor, model yanıt hızının artırılmasına değil. Testlerde, yüklenmesi gereken sohbet öğeleri 15.529'dan 64'e düştü, istek sayısı 894'ten 16'ya indi ve tüm uygulamanın bellek büyümesi de %41,2 azaldı.

ChatGPT veya Codex'i uzun süredir kullanan kullanıcılar için bu, eski sohbetleri açarken bekleme süresini belirgin şekilde azaltabilir. Geçmişte, aşırı uzun bir iş parçacığı konuştukça yavaşlıyordu; ana neden, istemcinin çok sayıda geçmiş mesajı işlemesi gerektiğiydi; bu kez OpenAI, yüklenmesi gereken veri miktarını doğrudan azalttı.