Byte Seed yeniden yapılanması: ön eğitim, RL birleştirildi, ofis Agent'ı ayrı bir grup olarak oluşturuldu

动察 Beating AI hızlı haberi: ByteDance'ın büyük model ekibi Seed, yeni bir organizasyonel düzenleme tamamladı. Seed Foundation Model, daha önce metin, kod, görsel ve ses gibi alanlara dağılmış veri ve son eğitim ekiplerini yeniden birleştirerek dört yeni birinci seviye departman kurdu. Temel değişiklik, ön eğitim verilerini ve pekiştirmeli öğrenmeyi birleştirmek, aynı zamanda uygulama son eğitimini Work ve Chat olmak üzere iki hatta ayırmak.

Pretrain Data, Omni modelinin çok modlu verilerinden ve süper büyük model ön eğitimi için gereken verilerden tek elden sorumlu olacak. Horizon RL, pekiştirmeli öğrenmeye odaklanarak modelin temel yeteneklerini geliştirecek. Product Posttrain-Work, ofis ve B tarafına yönelik olup modelin araç çağırma, bilgisayar kullanma ve uzun görevleri yürütme yeteneklerini optimize etmeye odaklanacak. Eski Application ekibi ise Product Posttrain-Chat olarak yeniden adlandırıldı ve C tarafı diyalog modelinden sorumlu olmaya devam edecek. Dört departman da Wu Yonghui'ye rapor verecek.

Geçmişte Seed daha çok metin, kod, görsel, ses gibi alanlara göre ekipler halinde organize edilmişti ve her birinin kendi veri ve son eğitim personeli vardı. Şimdi ByteDance, bir sonraki nesil modelin doğrudan Omni'ye yönelmesini ve farklı modların aynı temel modele girmesini istiyor. Seed ayrıca 5 trilyon parametreyi aşan bir model eğitmeyi tartışıyor. Model ne kadar büyük ve mod ne kadar fazla olursa, dağınık araştırma ve geliştirme yönteminin tekrarlanan yatırımlara yol açma olasılığı da o kadar artar.

Benzer bir düzenleme Tencent'te de görüldü. Tencent, Temmuz ayında Hunyuan'ın büyük dil modeli ve çok modlu model ekiplerini birleştirdi ve Yao Shunyu'yu tek sorumlu yaptı. ByteDance bu kez ayrıca özel bir Work son eğitim departmanı kurdu; bu da ofis ajanının temel model ekibi tarafından ayrı olarak optimize edilen bir ürün hattı haline geldiğini gösteriyor.