动察 Beating tarafından yapılan izlemeye göre, Shenzhen Hetao Koleji, Harbin Teknoloji Enstitüsü (Shenzhen), Shenzhen Büyük Veri Araştırma Enstitüsü ve Huawei ilgili ekiplerinden oluşan ve Shenzhen Akıllı Şehir AI Hesaplama Platformu ile işbirliği yapan ortak araştırma ekibi, yerli AI hesaplama platformunda 1,6 trilyon parametreli büyük model DeepSeek-V4-Pro'nun tam parametre sonrası eğitimini (Post-training) başarıyla gerçekleştirdiğini duyurdu.
Bu, küresel bir üçüncü taraf kuruluşun yerli bir hesaplama platformunda ilk kez 1,6 trilyon parametre ölçeğinde bir modelin tam parametre sonrası eğitimini tamamlamasıdır.
Sıfırdan başlayan ön eğitime (Pre-training) kıyasla, sonrası eğitim aşaması (temel olarak denetimli ince ayar SFT ve pekiştirmeli öğrenme RL'yi içerir), yüksek kaliteli talimatlar ve insan tercihleriyle uyum sağlayarak modele talimatları takip etme ve belirli görevleri yerine getirme öğretmeye odaklanır. Ancak, 1,6 trilyon parametreli MoE mimarisine sahip bir model için, tam parametre sonrası eğitim, alttaki donanımın bellek kapasitesi, çoklu kartlar arasındaki iletişim bant genişliği (MoE yönlendirmesinin tetiklediği tümden tüme iletişim gibi) ve büyük ölçekli kümelerin kararlılığı açısından son derece katı gereksinimler getirir. Ortak araştırma ekibi, binlerce çip ölçeğindeki Huawei Ascend 910C hesaplama kümesine dayanarak, dağıtık yük taşıma ve yük dengeleme stratejilerini optimize ederek iletişim darboğazını başarıyla aştı. 1500'den fazla adımdan oluşan eğitim sürecinde sistem tek bir kesinti yaşamadı, model hesaplama verimliliği (MFU) %30'u aştı, temel operatör verimliliği %14 arttı ve tüm göstergeler endüstriyel çalışma standartlarına ulaştı.
Sektör analistleri, Huawei Ascend 910C kümesinin trilyon ölçeğindeki model eğitimini başarıyla gerçekleştirmesinin, yerli AI çiplerinin süper büyük ölçekli modellerin derin eğitim görevlerini üstlenmedeki teknik fizibilitesini doğruladığını belirtiyor. Daha önce büyük modellerin geliştirilmesindeki temel ön eğitim büyük ölçüde Nvidia GPU kümelerine bağımlıyken, yerli hesaplama gücü daha çok çıkarım (Inference) veya küçük parametre ince ayar görevlerini üstleniyordu. Bu ortak araştırmanın başarısı, yerli hesaplama gücü ekosisteminin "yalnızca çıkarımı desteklemekten" "süper büyük parametreli modellerin tam parametre eğitimini üstlenmeye" doğru teknik bir kapanışı hızlandırdığını gösteriyor.
