Trilyonlarca parametre bile kirli veriyi kurtaramaz, yerli büyük modeller ön eğitimi yeniden yapmaya başladı

动察 Beating AI hızlı haberlerine göre, Leiphone, son altı aydan fazla süredir birçok yerli büyük model üreticisinin ön eğitimi yeniden yapmaya başladığını ve sorunun verilere işaret ettiğini bildirdi.

Bir üretici, yaklaşık bir yıl boyunca trilyon parametreli bir model eğitmiş, ancak gerçek performansı parametre sayısı yalnızca yaklaşık %1 olan küçük bir model tarafından geçilmişti. Ekip sonunda sorunun eğitim verilerinde olduğunu keşfetti. Web çöpü, tekrarlanan veri kümeleri ve düşük kaliteli etiketlemeler eğitim setine karıştığında, ne kadar büyük olursa olsun model bunu kaldıramaz. Bu vaka anonim bir kaynaktan geliyor ve belirli şirket henüz açıklanmadı.

Tencent Hunyuan, bir tur yeniden yapmayı kamuya açık şekilde tamamladı. Bu yılın Şubat ayından itibaren ekip, ön eğitim ve pekiştirmeli öğrenme altyapısını yeniden inşa etti. Daha önce medya, eski Hunyuan'da sıralama verilerinin eğitim setine karışması ve etiketleme kurallarının kaotik olması gibi sorunlar olduğunu açıklamıştı. Yeni ekip veri standartlarını yeniden belirledi, mevcut veri kümelerini temizledi ve Hy3 de veri kalitesi ile çeşitliliği ana iyileştirme maddeleri olarak listeledi.

Alibaba ve Baidu da veri yönetimine ağırlık veriyor. Qwen3, belgeleri temizlemek için Qwen2.5 serisi modelleri kullandı ve ayrıca matematik ile kod sentetik verilerini büyük ölçüde ekledi. Wenxin 4.5 ise tekrar kaldırma, düşük kalite filtreleme, veri haritası ve manuel inceleme ekledi. İki şirket, kirli veriler nedeniyle yeniden çalışma yaptıklarını kamuya açık şekilde söylemedi, ancak yeni nesil modellerin tümü veri işlemeye daha fazla çaba harcadı.