Beating'in izlemesine göre, Financial Times üç kaynak kişiye dayanarak, ByteDance'ın en fazla 10 trilyon parametreye sahip büyük bir modeli ön eğitime başladığını bildirdi. Proje henüz erken aşamada ve nihai boyut henüz belirlenmedi. Üst sınıra göre eğitilirse, Kimi K3'ün üç katından fazla olacak ve şu anda bilinen Çinli ekipler arasında en büyük parametre ölçeğine sahip model olacak.
ByteDance bu sefer model boyutunu doğrudan Anthropic'in amiral gemisi seviyesine taşıdı. Anthropic, Mythos 5'in parametre sayısını hiç açıklamadı, ancak Financial Times sektör tahminlerine dayanarak Mythos 5'in yaklaşık 8 trilyon parametre, Fable 5'in ise yaklaşık 5 trilyon parametre olduğunu bildirdi. ByteDance'ın yeni modeli 10 trilyona ulaşırsa, en azından parametre ölçeği açısından ABD'nin en ileri kapalı kaynak modelleriyle aynı seviyeye girmiş olacak.
Bu model şu anda hâlâ ön eğitim aşamasında (modelin temel yeteneklerini devasa verilerle eğitme). Financial Times'a göre, bu aşama genellikle 3 ila 6 ay sürer, ardından son eğitim devam eder ve ancak başarılı olursa yayınlanır. Daha fazla parametre her zaman daha güçlü yetenek anlamına gelmez; nihai performans mimariye, eğitim verilerine ve eğitim yöntemlerine bağlıdır.
Zhang Yiming yakın zamanda Seed içinde rakip modellerin damıtılmasına açıkça karşı çıktı ve ekibin kısa vadeli geride kalmayı kabul edip, kendi araştırmalarıyla dünyanın birinci kademesine ulaşmasını istedi. En fazla 10 trilyon parametreye sahip bu yeni model, ByteDance'ın şu ana kadarki en agresif ölçek bahsi.
