动察 Beating tarafından yapılan izlemeye göre, büyük modellerin son eğitim aşamasında "eşzamanlı örnekleme" (yani modelin kendi gerçek zamanlı ürettiği verilerle eğitilmesi), model bozulmasını önleme ve problem çözme yeteneğini artırma açısından kritik öneme sahiptir. Çevrimiçi takviyeli öğrenme (RL) ve eşzamanlı damıtma (OPD), geleneksel denetimli ince ayardan (SFT) daha üstündür çünkü bunlar, modelin harici standart cevapları ezberlemek yerine kendi yazdığı adımlara dayanarak optimizasyon yapmasını sağlar.
SFT, standart cevapları zorla dayatarak modelin her kelimesine eşit şekilde müdahale eder, bu da modelin mevcut bilgi yapısını kolayca bozabilir ve unutmaya yol açabilir. Buna karşılık, RL ve OPD, modelin kendi taslaklarında en iyi adımları bulup güçlendirmesine olanak tanır. Bu, yalnızca "ilk kelimeyi yanlış yaz, sonra her şey yanlış gider" şeklindeki birikimli hatayı önlemekle kalmaz, aynı zamanda güncellemeler yalnızca modelin bildiği bilgi alanlarında gerçekleştiği için doğal yetenekleri maksimum düzeyde korur.
"Minimum kod düzenleme" deneyinde, ister SFT ister RL eğitmeni kullanılarak eşzamanlı damıtma yapıldığında, öğrenci modelin tek seferde doğru kod yazma başarı oranı (Pass@1) sırasıyla %80,0 ve %78,7'ye ulaşarak eğitmen modeli geride bıraktı. SFT eğitmeni aşırı ince ayar nedeniyle ciddi şekilde "aptallaşsa" bile (LiveCodeBench kod yeteneği testinde 0,320'den 0,286'ya düşmesine rağmen), yetiştirdiği öğrenci model yine de 0,297 gibi yüksek bir puan alarak eğitmenin kusurlarından neredeyse hiç etkilenmedi. Bu, eşzamanlı pratiğin eğitmenin kötü alışkanlıklarını etkili bir şekilde filtreleyebildiğini kanıtlıyor.
Şu anda DeepSeek-V4 ve GLM-5, uzman model yeteneklerini birleştirmek için eşzamanlı damıtmayı kullanıyor. Uzman eğitiminde, kod ve matematik gibi net doğru/yanlış ayrımı olan alanlar RL için daha uygunken, yaratıcılık ve bilgi gerektiren öznel görevler eşzamanlı damıtma için daha uygundur. Gelecekteki nihai ince ayar algoritması, eşzamanlı eğitim çerçevesi altında, damıtmanın yüksek verimliliğini (yüksek bilgi yoğunluğu) ve RL'nin nesnelliğini (tarafsız güncelleme) birleştiren yeni bir mekanizma bulmak zorunda kalacak.
