Cursor, GPU boru hattını yeniden düzenleyerek MoE modeli eğitimini %41 hızlandırdı

Önemli bir gelişme olarak, Dongcha Beating tarafından izlenen habere göre, Cursor, MoE büyük model eğitimini hızlandırmak için Mixture-of-Kittens (MoK) projesini açık kaynak olarak yayınladı. Bu proje, daha önce ayrı olan GPU veri aktarımını ve hesaplamayı tek bir kernel'de (doğrudan GPU üzerinde çalışan alt düzey program) birleştiriyor.

MoE, modeli çok sayıda "uzmana" böler ve her seferinde yalnızca bir kısmını çağırır. Uzmanlar farklı GPU'lara dağıtıldığından, verilerin sık sık taşınması gerekir ve bu bazen eğitim süresinin yarısından fazlasını tüketebilir.

MoK, GPU'nun veri aktarırken aynı anda hesaplama yapmasını sağlayarak bekleme süresini azaltır. 512 adet GB300 GPU ile yapılan gerçek eğitimde, genel verim %41 arttı. MoE katmanı tek başına test edildiğinde, en hızlı açık kaynak çözümden 2,37 kata kadar daha hızlı oldu.

MoK, Cursor'un on binlerce GPU'sundaki Composer eğitiminde zaten kullanılıyor ve Apache 2.0 lisansıyla açık kaynak olarak sunuluyor. Şu anda yalnızca NVIDIA Blackwell GPU'ları destekliyor ve öncelikle GB200, GB300 NVL72 küme altyapısına sahip kurumlara yönelik.