Codex kotası gerçekten sorunlu: OpenAI, 3 ekstra tüketim noktası tespit etti, yarın tamamen sıfırlanacak.

动察 Beating AI hızlı haberi: OpenAI nihayet Codex kredisinin neden bu kadar hızlı tükendiğinin spesifik nedenini buldu. Sorumlu Tibo Sottiaux, ekibin 3 ekstra tüketim noktası keşfettiğini belirtti: görselli uzun konuşmalarda tekrarlanan bağlam sıkıştırma işlemi düşük verimlilik gösteriyor; Computer History bazı yüksek tüketim senaryolarında aşırı kullanım yapıyor; hatta otomatik oluşturulan konuşma başlığı özelliği bile beklenenden daha fazla kredi tüketiyor.

Tibo daha önce genel bir anormallik bulunmadığını söylemiş, etkilenen bazı kullanıcıları sub2api ve abonelik paylaşımına yönlendirmişti. Dün ise bazı kullanıcıların önbellek isabet oranının gerçekten kötüleştiğini ve bunun kredi tüketimini hızlandırabileceğini kabul etti. Şimdi araştırma nihayet Codex'in kendi birkaç spesifik sorununu tespit etti.

Bunlardan "bağlam sıkıştırma", Codex'in uzun görevlerde eski içeriği sürekli sıkıştırarak bağlam açması ve çalışmaya devam etmesi içindir. OpenAI resmi belgeleri de Codex'in uzun süreli görevleri sürdürmek için otomatik olarak compaction kullandığını doğruluyor. Görsel çok olduğunda ve sıkıştırma birkaç kez tekrarlandığında, bu süreçte ekstra israf mevcut. Computer History ise yakın zamanda eklenen bir özellik olup, Mac'te seçili uygulama ve web sayfalarındaki işlem kayıtlarını ChatGPT ve Codex'e taşıyabiliyor.

OpenAI, ABD saatiyle Pazar günü bir düzeltme gönderecek ve tüm ücretli aboneliklerdeki Codex kullanımını tamamen sıfırlayacak. Tibo, sıfırlamanın ABD Batı Kıyısı saatiyle öğleden sonra saat 2 civarında, yani Pekin saatiyle 24 Ağustos sabah saat 5 civarında yayında olacağını tahmin ediyor.

Ekip ayrıca ilgisiz yeni bir optimizasyon yöntemi buldu ve bunun verimliliği önemli ölçüde artırabileceğini, gelecek hafta çalışmalara devam edileceğini belirtti.