Claude, NVIDIA'nın 20 yıllık CUDA hendekini üç günde mi kırdı? Anthropic, Mythos'un GPU alt seviye kodunu kendisinin taşımasını sağladı

动察 Beating AI hızlı haber: Anthropic, IPO yol gösteriminde Claude Mythos Preview'ın sadece 3 gün içinde bir Claude modelinin AMD GPU'ları üzerinde kritik hesaplama aşamalarını çalıştırmasını sağladığını açıkladı. Gerekli GPU çekirdeklerinin neredeyse tamamı Claude tarafından kendi kendine taşındı veya yazıldı, insan müdahalesi çok azdı. Anthropic, geçmişte yeni bir çip platformuna bağlanmanın genellikle onlarca mühendisin 6 ila 12 ayını aldığını belirtti.

Nvidia'nın değiştirilmesi en zor avantajlarından biri CUDA'dır.

CUDA, Nvidia'nın 2006'da piyasaya sürdüğü GPU hesaplama platformudur. 2018'e gelindiğinde PyTorch, TensorFlow gibi yaygın derin öğrenme çerçeveleri CUDA ve beraberindeki hesaplama kütüphanelerini yaygın olarak kullanıyordu. Nvidia ayrıca çoklu kart iletişimi, hata ayıklama ve performans optimizasyon araçlarını kademeli olarak geliştirdi. Geliştiriciler, çok sayıda alt seviye programı sıfırdan yazmak zorunda kalmadan GPU'yu verimli bir şekilde kullanabiliyor.

Giderek daha fazla AI eğitim ve çıkarım programı CUDA etrafında geliştirildikçe, Nvidia büyük miktarda hazır kod ve araç biriktirdi. Geliştiriciler çoğu zaman Nvidia'yı seçiyor çünkü yazılım zaten uyumlu hale getirilmiş durumda. AMD güçlü performanslı GPU'lar üretse bile, müşterilerin geçiş yapması kod taşıma, uyumluluk testleri ve performans optimizasyonu gibi sorunlarla yüzleşmek zorunda kalıyor.

AMD'nin MI355X'i 288GB yüksek bant genişlikli bellekle donatılmış, donanım yapılandırması zayıf değil. Sorun şu ki, Nvidia için yazılmış GPU çekirdekleri AMD'ye geçince doğrudan çalışmayabilir, çalışsa bile performans ideal olmayabilir. Mühendislerin AMD'nin çip mimarisine göre kodu ayarlaması, hesaplama sonuçlarını ve çalışma hızını tekrar tekrar test etmesi gerekiyor.

AMD, geliştiricilerin CUDA programlarını taşımasına yardımcı olmak için ROCm, HIPIFY gibi araçları çoktan piyasaya sürdü. Triton gibi platformlar arası programlama araçları da taşıma zorluğunu azaltıyor, ancak karmaşık alt seviye hesaplamalar hâlâ büyük miktarda manuel optimizasyon gerektiriyor.

Anthropic bu kez Mythos'a bu işin bir kısmını devretti; kendisi GPU çekirdeklerini taşıdı veya yeniden yazdı. Yol gösterimi grafiğinin açıklamasına göre, 3 gün içinde bir Claude modelinin istem işleme aşamasını AMD MI355X üzerinde kullanılabilir performansa ulaştırdı.

Anthropic aslında uzun zamandır tek bir çip üreticisine bağımlılığını azaltıyor. İzahname, şirketin yıllar boyunca Nvidia GPU, AMD GPU, Google TPU ve Amazon Trainium'u kapsayan bir hesaplama gücü zamanlama sistemi kurduğunu ve fiyat ile performansa göre farklı çipler seçebildiğini açıkladı.

Bu yılın Temmuz ayında Anthropic, AMD ile de bir iş birliğine vararak 2027'nin ilk yarısından itibaren AMD'nin yeni nesil GPU'larını 2 GW'a kadar ölçekte devreye almayı planladı. İki taraf ayrıca ROCm geliştirmesini ve GPU performans optimizasyonunu hızlandırmak için Claude'dan yararlanacak. AMD ise gelecekte Anthropic'e 50 milyar dolara kadar yatırım yapma taahhüdü verdi.

Yatırımcı Marcelo P. Lima, Nvidia'nın CUDA hendeğinin artık ortadan kalktığını düşünüyor. Ancak analist Ben Pouladian farklı bir görüş ortaya koydu: Modelin hesaplamalarının bir kısmını AMD üzerinde çalıştırmak ile tüm sistemin büyük ölçekli dağıtımda istikrarlı, ekonomik ve rekabetçi bir performansa ulaşmasını sağlamak arasında büyük bir fark var.