Ana Sayfa
AI AI
Flaş
Derinlik
Etkinlikler
BlockBeats Pro
Daha Fazla
Finans
Özel
Blok Zinciri Ekosistemi
Giriş
Podkastlar
Veri
OPRR
#
BTC
$96,000
5.73%
ETH
$3,521.91
3.97%
HTX
$0.{5}2273
5.23%
SOL
$198.17
3.05%
BNB
$710
3.05%
lang
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
Partnered With:

FreeToken açık kaynak: Bir 5090 ile DeepSeek-V4-Flash çalıştırma, maksimum 25 Token/s

动察 Beating AI hızlı haberi: Berkeley, MIT gibi araştırmacılar FreeToken'ı açık kaynak olarak yayınladı. Bu, yerel cihazlar için özel olarak tasarlanmış bir MoE (Karışık Uzmanlar) çıkarım motorudur ve temel olarak devasa modellerin GPU belleğine sığmaması sorununu çözer. Ağırlıkların bir kısmını sistem belleğine yerleştirir ve CPU ile GPU'nun birlikte çıkarım yapmasını sağlar.


FreeToken, modelin çok sayıda uzman ağırlığını sistem belleğinde tutar ve yalnızca bir kısmını GPU belleğinde önbelleğe alır. GPU belleğinde bulunmayan bir uzmanla karşılaştığında, PCIe ve CPU bellek bant genişliğine göre ağırlıkları GPU'ya taşımayı mı yoksa doğrudan CPU'ya mı hesaplatmayı dinamik olarak belirler. Böylece CPU, GPU, sistem belleği ve PCIe birlikte çıkarım yapabilir.


Makaledeki gerçek testlere göre, RTX 5090 ile donatılmış bir oyun masaüstü bilgisayarı 284B parametreli DeepSeek-V4-Flash modelini çalıştırarak 22–25 Token/s hıza ulaşabilir. Bu model her Token üretiminde yalnızca yaklaşık 13B parametreyi aktifleştirir, bu nedenle bu tür CPU-GPU hibrit çıkarım için özellikle uygundur.


FreeToken ayrıca 8GB GPU belleğine sahip RTX 4060 dizüstü bilgisayarda 35B modelini 39.3 Token/s hıza çıkardı; tek bir 96GB RTX PRO 6000 ise 753B parametreli GLM-5.2 modelini çalıştırabilir ve hızı llama.cpp'nin yaklaşık iki katına ulaşır. Proje şu anda 20'den fazla MoE modelini desteklemekte ve Apache 2.0 lisansıyla açık kaynak olarak yayınlanmıştır.

举报 Düzeltme/Rapor
İlgiliÖnerilen
Önündeki yol, artık gözlerini kapatarak yürümesine izin vermiyor.
Düzeltme/Rapor
Gönder
Kütüphane Ekle
Sadece kendime görünür
Herkese Açık
Kaydet
Kütüphane Seç
Kütüphane Ekle
İptal
Tamamla