动察 Beating AI hızlı haber: Anthropic, Claude'a 36 açık kaynak biyolojik model üzerinde bir performans optimizasyonu turu yaptırdı. 4 haftadan kısa sürede bu modeller ortalama yaklaşık 4 kat daha hızlı çalıştı; protein yapısı tahmini, protein tasarımı ve genom analizi gibi görevleri kapsıyor. İlgili optimizasyon kodlarının tamamı açık kaynak olarak paylaşıldı.
Claude sadece Python kodunu değiştirmekle kalmadı, aynı zamanda FlashPairformer gibi GPU kernel'lerini kendisi yazdı ve doğrudan alt katmandan GPU hesaplama verimliliğini artırdı. Resmi testlerde, başlangıçta çok zaman alan bazı hesaplamalar en fazla 3,2 kat hızlandı. Farklı modellerle karşılaştığında Claude darboğazları tek tek buldu, yinelenen hesaplamaları kaldırdı veya sık kullanılan verileri önceden önbelleğe aldı.
Tüm süreç iki Anthropic biyolojik modelleme araştırmacısı tarafından denetlendi, ancak her ikisinin de daha önce çıkarım optimizasyonu veya kernel mühendisliği deneyimi yoktu. Optimizasyon öncesi ve sonrası sonuçların tamamen aynı olması istendiğinde bile bu modeller ortalama yaklaşık 1,6 kat hızlanabildi; model sonuçlarında normal aralıkta küçük farklılıklara izin verildiğinde ortalama hızlanma yaklaşık 4 kata ulaştı.
Anthropic daha önce bir protein tasarımı deneyi yaptığında, her hedef için en fazla yaklaşık 2500 H100 GPU saati gerekiyordu. Optimizasyondan sonra bir H200'ün 24 saat çalışmasıyla benzer bir sonuca ulaşılabiliyor; GPU ve Claude maliyeti toplamda yaklaşık 150 dolar. Eskiden binlerce GPU saati harcanması gereken deneyler artık yaklaşık bir günde tamamlanabiliyor.
