动察 Beating AI hızlı haberi: Berkeley, MIT gibi araştırmacılar FreeToken'ı açık kaynak olarak yayınladı. Bu, yerel cihazlar için özel olarak tasarlanmış bir MoE (Karışık Uzmanlar) çıkarım motorudur ve temel olarak devasa modellerin GPU belleğine sığmaması sorununu çözer. Ağırlıkların bir kısmını sistem belleğine yerleştirir ve CPU ile GPU'nun birlikte çıkarım yapmasını sağlar.
FreeToken, modelin çok sayıda uzman ağırlığını sistem belleğinde tutar ve yalnızca bir kısmını GPU belleğinde önbelleğe alır. GPU belleğinde bulunmayan bir uzmanla karşılaştığında, PCIe ve CPU bellek bant genişliğine göre ağırlıkları GPU'ya taşımayı mı yoksa doğrudan CPU'ya mı hesaplatmayı dinamik olarak belirler. Böylece CPU, GPU, sistem belleği ve PCIe birlikte çıkarım yapabilir.
Makaledeki gerçek testlere göre, RTX 5090 ile donatılmış bir oyun masaüstü bilgisayarı 284B parametreli DeepSeek-V4-Flash modelini çalıştırarak 22–25 Token/s hıza ulaşabilir. Bu model her Token üretiminde yalnızca yaklaşık 13B parametreyi aktifleştirir, bu nedenle bu tür CPU-GPU hibrit çıkarım için özellikle uygundur.
FreeToken ayrıca 8GB GPU belleğine sahip RTX 4060 dizüstü bilgisayarda 35B modelini 39.3 Token/s hıza çıkardı; tek bir 96GB RTX PRO 6000 ise 753B parametreli GLM-5.2 modelini çalıştırabilir ve hızı llama.cpp'nin yaklaşık iki katına ulaşır. Proje şu anda 20'den fazla MoE modelini desteklemekte ve Apache 2.0 lisansıyla açık kaynak olarak yayınlanmıştır.
