DeepSeek, dahili çıkarım motoru DeepInfer'ı açık kaynak olarak yayınladı: Ascend 950'yi destekliyor, ancak henüz tam kapsamlı bir çevrimiçi hizmet değil
动察 Beating AI hızlı haber: DeepSeek, dahili çıkarım çerçevesi DeepInfer'ı Apache 2.0 lisansıyla resmen açık kaynak olarak yayınladı. Bu sistem, DeepSeek V4.1 Flash'ın büyük ölçekli çevrimiçi hizmetini desteklemek için kullanılıyor. Daha önce DeepSeek, DeepGEMM hesaplama kütüphanesini, FlashMLA dikkat operatörünü ve DeepEP iletişim kütüphanesini kademeli olarak açık kaynak yapmıştı. Bu kez çoklu kart paralelleştirme, görev zamanlama ve üretim hızlandırmadan sorumlu çekirdek çerçeve daha da açıldı.
DeepInfer'ın amacı, aynı hesaplama gücüyle daha fazla isteği işlemek ve aynı zamanda kullanıcı bekleme süresini kısaltmak. Modelin farklı uzmanlarını birden fazla hesaplama kartına dağıtabiliyor ve CPU zamanlaması ile GPU hesaplamasının aynı anda yürütülmesini sağlıyor. DSpark spekülatif kod çözme, önceden birden fazla aday Token üretebiliyor ve ardından güven düzeyine göre doğrulama düzenliyor. SWA Bounded Replay ise modelin uzun metinleri işlerken yalnızca yakın zamandaki küçük bir bölümü yeniden hesaplamasını sağlayarak tekrarlı hesaplamayı azaltıyor. Ayrıca JSON gibi yapılandırılmış çıktılar ve yeniden üretilebilir örnekleme mekanizması da destekleniyor.
Bu açık kaynak hamlesinde bir dönüm noktası da var. Nisan 2025'te DeepSeek, dahili çıkarım motorunun erken dönem vLLM'den derinlemesine dönüştürüldüğünü ve kendi kümesine sıkı sıkıya bağlı olduğunu, bu nedenle topluluk tarafından doğrudan kullanılmasının zor olduğunu açıklamış ve önce bağımsız bileşenleri ayırmaya karar vermişti. Şimdi çekirdek kod nihayet açıklandı, ancak hâlâ tam bir çevrimiçi dağıtım çözümü değil. GitHub açıkça belirtiyor ki mevcut sürüm esas olarak çevrimdışı çıkarım sunuyor; KV önbellek yönetimi, girdi ve üretim aşamalarının ayrılması ve kopyalar arası yük dengeleme gibi bileşenler hâlâ eksik.
Şu anda DeepInfer yalnızca DeepSeek V4.1 Flash'ı destekliyor ve NVIDIA SM100 GPU ile Huawei Ascend 950 NPU'ya uyum sağlıyor. Resmi performans testleri, girdi işleme ve çıktı üretimini ölçmek için sırasıyla 4 ve 64 SM100 GPU kullanmış, ancak vLLM ve SGLang ile aynı koşullarda performans karşılaştırması sunmamış. Aynı zamanda güncellenen deepseek-recipe ise resmi API ile uyumlu mesaj ve Token kodlama/kod çözme yeteneği sunarak düşünme içeriği, görseller ve araç çağrıları gibi formatları destekliyor.
