GPT-6 sinir ağlarını "elle yazmaya" başladı: oyun kurallarını ağırlıklara dönüştürerek tuğla kırma oyununda 20 kat daha yüksek puan elde ediyor

动察 Beating AI hızlı haber: Sinir ağlarında milyonlarca, yüz milyonlarca parametre bulunur ve bunlar geçmişte esas olarak eğitim algoritmalarıyla tekrar tekrar ayarlanırdı. MIT araştırma ekibi ise GPT-6 Astra'nın bu sayıları doğrudan analiz edip değiştirebildiğini, hatta eğitim olmadan sıfırdan bir sinir ağı yazabildiğini keşfetti.

Araştırmacılar, basitleştirilmiş bir tuğla kırma oyununun kurallarını, kaynak kodunu ve tüm ağırlıkları sıfır olan bir sinir ağını GPT-6'ya vererek parametreleri kendisinin doldurmasını sağladı. Eğitim verisi sağlanmadı ve deneme oynamasına izin verilmedi. GPT-6 topun düşeceği noktayı kendi hesaplayarak tahmin ve hareketli raket mantığını ağ ağırlıklarına yazdı. Sonuçta oyun puanı 517,4'e ulaştı; bu, aynı yapıya sahip ve 500 milyon adım pekiştirmeli öğrenmeyle eğitilmiş modelin yaklaşık 20 katıydı. Ancak diğer iki oyunda 500 milyon adım eğitilmiş modeli geçemedi.

Araştırmacılar daha sonra GPT-6'ya Alibaba Qwen3.5-0.8B'nin ağırlıklarını doğrudan değiştirtirdi. Modeli yeniden eğitmeden yalnızca parametrelerin %0,016'sını değiştirerek MATH-500 matematik doğruluk oranını %7,9'dan %48,1'e yükseltti; talimat takip puanı da yaklaşık 3 kat arttı.

Meğer Qwen sık sık düşünme döngüsüne giriyor, tekrar tekrar akıl yürütüyor ama yanıt vermiyordu. Değişiklikten önce matematik testi yanıtlarının %93'ü 32768 Token'i tüketiyordu; değişiklikten sonra bu oran %33,1'e düştü. GPT-6 adeta modelin normal yanıt vermesini engelleyen sorunu onarmış oldu.

Ancak parametre sayısı yalnızca 270 milyon olan Gemma 3 270M'ye geçildiğinde GPT-6 matematik puanını belirgin şekilde artıramadı. Bu daha küçük model nadiren düşünme döngüsüne giriyordu; asıl sorun aritmetik ve akıl yürütmenin kendisinin hata yapmaya yatkın olmasıydı ve bu, az sayıda ağırlığı değiştirerek kolayca çözülemiyordu.

Araştırmacılar parametreleri doğrudan okuyup yazma yöntemine «Ağırlık Uzayı Programlama» (Weight-Space Programming) adını verdi.