动察 Beating AI hızlı haber: İlk SGLang Zirvesi'nde, normalde kıyasıya rekabet eden NVIDIA, AMD ve Intel nadiren aynı safta yer aldı.
Üç çip devi, Google, Meta, Thinking Machines Lab, Cloudflare, Modal ve RadixArk ile birlikte SGLang ittifakının 9 kurucu üyesi oldu ve bu açık kaynaklı AI çıkarım motorunun gelecek yol haritasının belirlenmesine katıldı. Zirve, 2000'den fazla kişinin katılımıyla gerçekleşti.
SGLang, büyük modellerin çalışma zamanı için alt katman yazılımıdır; kullanıcı isteklerini işlemek, GPU'ları zamanlamak, bellek yönetmek ve hesaplama sonuçlarını yeniden kullanmaktan sorumludur. Bir çipin AI modelini ne kadar hızlı ve ne kadar maliyetle çalıştırabileceğini doğrudan belirler.
SGLang daha önce NVIDIA, AMD, Intel gibi çeşitli donanımları destekliyordu. Bu ittifakın kurulması, çip üreticilerinin ortak geliştirmeye daha sistematik katılacağı, mühendis ve test kaynakları ayıracağı ve kendi donanımlarının performans optimizasyonunu teşvik edeceği anlamına geliyor.
İttifak üyeleri yılda iki kez yol haritası toplantısı düzenliyor, ancak nihai teknik kararlar ve kod birleştirme yetkisi hâlâ SGLang bakım ekibinde.
SGLang resmi açıklamasına göre şu anda 332 kurum projeyi benimsemiş durumda. Meta da zirvede, önceki çıkarım çözümlerine kıyasla SGLang'e geçiş sonrası büyük ölçekli üretim ortamında GPU kaynaklarından yarıdan fazla tasarruf sağladığını açıkladı.
Zirvede ayrıca SGLang v1.0'ın geliştirme yönü duyuruldu; üretim ortamında kararlılık ve uyumluluğun artırılmasına odaklanılıyor ve resmi sürüm hâlâ geliştirme aşamasında. Ayrıca SGLang, AWS Trainium çipleri için genel önizleme desteğini yayınladı ve Intel ile CPU, GPU ve hızlandırıcılarını optimize etmek üzere iş birliği yapıyor. Pekiştirmeli öğrenme çerçevesi Miles v0.2 de yayımlandı.
