Ana Sayfa
AI AI
Flaş
Derinlik
Etkinlikler
BlockBeats Pro
Daha Fazla
Finans
Özel
Blok Zinciri Ekosistemi
Giriş
Podkastlar
Veri
OPRR
#
BTC
$96,000
5.73%
ETH
$3,521.91
3.97%
HTX
$0.{5}2273
5.23%
SOL
$198.17
3.05%
BNB
$710
3.05%
lang
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
Partnered With:

Büyük model sonrası eğitimde yeni keşif: Kendi ürettiği verilerle "eş yörüngeli eğitim" yapmak, öğrencinin öğretmeni geçmesi ve gerilememesi için anahtar faktördür.

动察 Beating tarafından yapılan izlemeye göre, büyük modellerin son eğitim aşamasında "eşzamanlı örnekleme" (yani modelin kendi gerçek zamanlı ürettiği verilerle eğitilmesi), model bozulmasını önleme ve problem çözme yeteneğini artırma açısından kritik öneme sahiptir. Çevrimiçi takviyeli öğrenme (RL) ve eşzamanlı damıtma (OPD), geleneksel denetimli ince ayardan (SFT) daha üstündür çünkü bunlar, modelin harici standart cevapları ezberlemek yerine kendi yazdığı adımlara dayanarak optimizasyon yapmasını sağlar.

SFT, standart cevapları zorla dayatarak modelin her kelimesine eşit şekilde müdahale eder, bu da modelin mevcut bilgi yapısını kolayca bozabilir ve unutmaya yol açabilir. Buna karşılık, RL ve OPD, modelin kendi taslaklarında en iyi adımları bulup güçlendirmesine olanak tanır. Bu, yalnızca "ilk kelimeyi yanlış yaz, sonra her şey yanlış gider" şeklindeki birikimli hatayı önlemekle kalmaz, aynı zamanda güncellemeler yalnızca modelin bildiği bilgi alanlarında gerçekleştiği için doğal yetenekleri maksimum düzeyde korur.

"Minimum kod düzenleme" deneyinde, ister SFT ister RL eğitmeni kullanılarak eşzamanlı damıtma yapıldığında, öğrenci modelin tek seferde doğru kod yazma başarı oranı (Pass@1) sırasıyla %80,0 ve %78,7'ye ulaşarak eğitmen modeli geride bıraktı. SFT eğitmeni aşırı ince ayar nedeniyle ciddi şekilde "aptallaşsa" bile (LiveCodeBench kod yeteneği testinde 0,320'den 0,286'ya düşmesine rağmen), yetiştirdiği öğrenci model yine de 0,297 gibi yüksek bir puan alarak eğitmenin kusurlarından neredeyse hiç etkilenmedi. Bu, eşzamanlı pratiğin eğitmenin kötü alışkanlıklarını etkili bir şekilde filtreleyebildiğini kanıtlıyor.

Şu anda DeepSeek-V4 ve GLM-5, uzman model yeteneklerini birleştirmek için eşzamanlı damıtmayı kullanıyor. Uzman eğitiminde, kod ve matematik gibi net doğru/yanlış ayrımı olan alanlar RL için daha uygunken, yaratıcılık ve bilgi gerektiren öznel görevler eşzamanlı damıtma için daha uygundur. Gelecekteki nihai ince ayar algoritması, eşzamanlı eğitim çerçevesi altında, damıtmanın yüksek verimliliğini (yüksek bilgi yoğunluğu) ve RL'nin nesnelliğini (tarafsız güncelleme) birleştiren yeni bir mekanizma bulmak zorunda kalacak.

举报 Düzeltme/Rapor
İlgiliÖnerilen
Teknolojik devrimin temel dinamiği her zaman düşük maliyetli işgücünün ölçeklenebilir tüketimidir
Bir insan, zekasını boşa harcamamak için kendini ne kadar büyük bir makinenin içine koymalı?
Bu Physical AI veri motoru şirketi, 12 milyon dolarlık tohum yatırım turunu tamamladığını duyurdu; tura Hack VC liderlik etti.
Düzeltme/Rapor
Gönder
Kütüphane Ekle
Sadece kendime görünür
Herkese Açık
Kaydet
Kütüphane Seç
Kütüphane Ekle
İptal
Tamamla