Pokee, 10 milyon Token modeli yayınladı; bağlam, ana akım modellerin yaklaşık 10 katı.

Beating monitörüne göre, AI ajan girişimi Pokee AI, Pokee-Isaac 28B modelini yayınladı. Modelin toplam parametre sayısı yalnızca 28 milyar, ancak bağlam penceresi 10 milyon Token'a ulaşıyor. Şu anda ana akım modellerin üst sınırı yaklaşık 1 milyon Token iken, Isaac bunların neredeyse 10 katına yakın.

Pokee'nin kendi testlerinde, Isaac, RULER uzun metin testinde 256.000'den 4 milyon Token'a kadar sürekli olarak 95 puan civarında kaldı. 10 milyon Token'a tamamen çıkarıldığında bile puan hâlâ 93.3. Diğer beş karşılaştırma modeli ise 2 milyon Token'dan itibaren kullanılabilir sonuç döndürmedi.

Pokee, aşırı uzun bağlamı kendi geliştirdiği "saf olmayan Decoder-only mimarisine" bağlıyor, yani yaygın büyük modellerin saf kod çözücü yapısını tamamen takip etmiyor. Ancak teknik rapor, belirli mimariyi, dikkat mekanizmasını ve bellek çözümünü açıklamadığı için dışarıdan bunun tam olarak nasıl başarıldığını şu an için değerlendirmek mümkün değil.

Pokee AI, 2024 yılında eski Meta uygulama pekiştirmeli öğrenme sorumlusu Zhu Zheqing tarafından kuruldu. Şirket, Point72 Ventures liderliğindeki 12 milyon dolarlık tohum yatırımını aldı; Qualcomm Ventures ve Samsung NEXT gibi yatırımcılar da katıldı.