Ana Sayfa
AI AI
Flaş
Derinlik
Etkinlikler
BlockBeats Pro
Daha Fazla
Finans
Özel
Blok Zinciri Ekosistemi
Giriş
Podkastlar
Veri
OPRR
#
BTC
$96,000
5.73%
ETH
$3,521.91
3.97%
HTX
$0.{5}2273
5.23%
SOL
$198.17
3.05%
BNB
$710
3.05%
lang
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
Partnered With:

Nvidia, AMD ve Intel nadiren güçlerini birleştirdi: 9 şirket SGLang açık kaynak çıkarım ittifakını birlikte kuruyor

动察 Beating AI hızlı haber: İlk SGLang Zirvesi'nde, normalde kıyasıya rekabet eden NVIDIA, AMD ve Intel nadiren aynı safta yer aldı.


Üç çip devi, Google, Meta, Thinking Machines Lab, Cloudflare, Modal ve RadixArk ile birlikte SGLang ittifakının 9 kurucu üyesi oldu ve bu açık kaynaklı AI çıkarım motorunun gelecek yol haritasının belirlenmesine katıldı. Zirve, 2000'den fazla kişinin katılımıyla gerçekleşti.


SGLang, büyük modellerin çalışma zamanı için alt katman yazılımıdır; kullanıcı isteklerini işlemek, GPU'ları zamanlamak, bellek yönetmek ve hesaplama sonuçlarını yeniden kullanmaktan sorumludur. Bir çipin AI modelini ne kadar hızlı ve ne kadar maliyetle çalıştırabileceğini doğrudan belirler.


SGLang daha önce NVIDIA, AMD, Intel gibi çeşitli donanımları destekliyordu. Bu ittifakın kurulması, çip üreticilerinin ortak geliştirmeye daha sistematik katılacağı, mühendis ve test kaynakları ayıracağı ve kendi donanımlarının performans optimizasyonunu teşvik edeceği anlamına geliyor.


İttifak üyeleri yılda iki kez yol haritası toplantısı düzenliyor, ancak nihai teknik kararlar ve kod birleştirme yetkisi hâlâ SGLang bakım ekibinde.


SGLang resmi açıklamasına göre şu anda 332 kurum projeyi benimsemiş durumda. Meta da zirvede, önceki çıkarım çözümlerine kıyasla SGLang'e geçiş sonrası büyük ölçekli üretim ortamında GPU kaynaklarından yarıdan fazla tasarruf sağladığını açıkladı.


Zirvede ayrıca SGLang v1.0'ın geliştirme yönü duyuruldu; üretim ortamında kararlılık ve uyumluluğun artırılmasına odaklanılıyor ve resmi sürüm hâlâ geliştirme aşamasında. Ayrıca SGLang, AWS Trainium çipleri için genel önizleme desteğini yayınladı ve Intel ile CPU, GPU ve hızlandırıcılarını optimize etmek üzere iş birliği yapıyor. Pekiştirmeli öğrenme çerçevesi Miles v0.2 de yayımlandı.

举报 Düzeltme/Rapor
Düzeltme/Rapor
Gönder
Kütüphane Ekle
Sadece kendime görünür
Herkese Açık
Kaydet
Kütüphane Seç
Kütüphane Ekle
İptal
Tamamla