动察 Beating AI hızlı haber: Bağımsız geliştirici Divyansh Agrawal, Alibaba Qwen3.5-4B temelinde Qwenputer'ı geliştirdi; 32 bitlik bir RISC-V sanal CPU'yu doğrudan model ağırlıklarına kodlayarak büyük dil modelinin harici hesaplama araçlarına başvurmadan yanıt üretirken hassas hesaplama yapabilmesini sağladı.
Yazar, Qwen'i yeniden eğitmedi; mevcut 32 katmanlı ağın önüne 11 katman ekleyerek CPU'nun işlem kurallarını derleyici aracılığıyla doğrudan model parametreleri olarak yazdı. Eklenen ağ ayrıca Gated DeltaNet yapısını kullanarak program ve verileri depolamak için hassas okuma-yazma yapılabilen bir bellek oluşturdu.
Bu sanal CPU artık derlenmiş C programlarını çalıştırabiliyor ve RISC-V komut testlerini geçti; toplamda yaklaşık 18 milyon komutun yürütüldüğü testlerde hata tespit edilmedi.
DeepMind'ın 40 büyük sayı çarpma sorusunda orijinal Qwen 22 soruyu doğru yanıtlarken Qwenputer 39 soruyu doğru yanıtladı; orijinal Qwen harici Python'a bağlandığında ise tümünü doğru yanıtladı. CPU'nun kendisi komutları doğru şekilde yürütebiliyor, ancak büyük dil modeli yine de çağrı veya sonuç çıktısı sırasında hata yapabiliyor.
Bu teknik yaklaşımın öncülleri var. Bu yılın mart ayında Percepta, sinir ağlarıyla C programlarını çalıştırabilen bir sanal bilgisayar gerçekleştirdi. Ancak bu, özel olarak oluşturulmuş bir modeldi. Qwenputer ise benzer hesaplama yeteneğini önceden eğitilmiş Qwen'e bağlayarak dil modelinin yanıt üretirken dahili CPU ile hesaplama yapabilmesini sağlıyor.
Ancak bu çözüm şu anda oldukça verimsiz. Çok sayıda sıfır değerli parametre model dosyasını 18,8 GB'a kadar şişiriyor; bu, orijinalin yaklaşık iki katı ve hesaplama hızı da harici araçlardan çok daha yavaş.
