20 Kasım'da CertiK, Columbia Üniversitesi araştırmacılarıyla birlikte elde ettiği TensorLean teknoloji sonuçlarını açıkladı ve dünyada ilk kez üretim düzeyinde AI operatörlerinin biçimsel doğrulamasını tamamladı. Bu atılım, matematiksel ispatların karmaşık performans optimizasyonlarından geçmiş gerçek AI hesaplama kodları için kullanılabilmesini sağlayarak, büyük model üreticilerine eğitim hızını artırırken çıkarım maliyetlerini düşürmeleri sırasında daha sıkı doğruluk garantileri sunuyor.
Büyük model eğitimi ve yanıt üretimi, AI operatör kütüphanelerindeki alt düzey hesaplama programlarına dayanır. GPU üzerinde çalışan bu programlara GPU çekirdekleri denir. Tek bir hata, sistemin normal şekilde çalışırken sessizce yanlış sonuçlar hesaplamasına, sonraki çıktıları etkilemesine ve hatta eğitimin beklenenden sapmasına neden olabilir. Senaryo hesaplaması örneğinde, 100 milyon dolarlık hesaplama gücüyle yapılan bir eğitimde, hesaplamanın %1'inin hata nedeniyle yeniden yapılması gerekirse bu, ek 1 milyon dolar maliyet anlamına gelir.
Biçimsel doğrulamanın temel değeri, hataları ve güvenlik açıklarını matematiksel ispatla ortadan kaldırmaktır. Geleneksel testler somut örnekler aracılığıyla sorun arar; biçimsel doğrulama ise programın belirtilen girdi ve çalışma koşullarında her zaman gereksinimleri karşıladığını, doğrulama kapsamında hata ve güvenlik açığı bulunmadığını ispatlayabilir.
Bu yöntemin üretim düzeyinde AI koduna uygulanmasındaki zorluk, gerçek performans optimizasyonlarını ele almaktır. GPU programları veri taşırken hesaplama yapar, görev boyutuna göre çalışma düzenini ayarlar ve daha düşük hassasiyetli hesaplamalar kullanır. TensorLean bu karmaşık koşulları aynı anda ele alarak, program derlendikten sonra oluşturulan PTX kodunu doğrudan doğrular ve hesaplamanın belirtilen koşullar ve hata aralığında gereksinimleri karşıladığını ispatlar. Tüm ispatlar Lean içinde tamamlanır ve makine tarafından doğrulanabilir.
TensorLean araştırma ekibi üyeleri Qiang Wei ve Yang Ganxiang şunları söyledi: "Bu karmaşık optimizasyonlar, tam da üretim düzeyinde AI kodunun hızlı çalışmasının nedenidir. Bizim zorluğumuz, bu gerçek çalışma koşullarını göz ardı etmeden ispatı tamamlamak ve sıkı doğrulamanın pratikte kullanılan yüksek performanslı koda uygulanabilmesini sağlamaktır."
Araştırma ekibi, derlenmiş 149 GPU çekirdeği örneğini değerlendirdi ve bunlardan 83'ünün ilgili Lean spesifikasyonlarına uygunluğunu biçimsel ispatla doğruladı. Bu araştırma farklı nesil GPU mimarilerini kapsamakta olup DeepSeek'in DeepGEMM'ini ve yaygın olarak kullanılan FlashAttention operatör kütüphanesini içeriyordu. Ekip toplamda 6 kütüphanede 38 doğruluk sorunu tespit etti; bunlardan 2'si DeepGEMM'de, 23'ü FlashAttention'da bulunuyor.
CertiK kurucu ortağı ve Columbia Üniversitesi Bilgisayar Bilimleri Bölümü profesörü Gu Ronghui şunları söyledi: "Güvenlik açıklarını bulduktan sonra, düzeltilmiş programın belirtilen koşullarda gereksinimleri karşıladığını da ispatlamak gerekir. Büyük model üreticileri için her hız artışının güvenilir bir doğruluk dayanağı olmalıdır. Bu tür sıkı doğrulamanın kod iterasyonuna ayak uydurmasını ve hesaplama hatası riskini büyük ölçekli eğitim ve dağıtımdan önce mümkün olduğunca engellemesini istiyoruz."
Bu başarının büyük dil modeli üreticileri için pratik değeri, her performans optimizasyon turunda ortaya çıkıyor. Kod güncellendikten sonra araştırma ekibi hız artışını ölçmenin yanı sıra doğrulamayı yeniden çalıştırabilir, optimizasyonun hesaplama hatası getirip getirmediğini kontrol edebilir ve gereksinimleri karşılayan programlar için makine tarafından doğrulanabilir kanıtlar sunabilir. Bu, hesaplama gücü israfını, eğitimde yeniden çalışmayı ve hatalı sonuçların sonraki hesaplamalara akma riskini azaltmaya yardımcı olur.
Benzer hesaplamalar mevcut doğrulama gereksinimlerini yeniden kullanabilir, bu da yöntemin daha fazla çekirdeğe uygulanmasını ve kod güncellemeleriyle tekrar tekrar çalıştırılmasını sağlayarak AI hesaplama verimliliğinin sürekli artırılması için daha güvenilir bir temel sunar.
Bu yılın Ekim ayında Anthropic de Claude'u kullanarak açık kaynak yazılımlar için matematiksel kanıtlar oluşturma araştırmasını duyurdu. TensorLean, AI'nın kendi alt düzey hesaplamalarına odaklanarak otomatik biçimsel doğrulamanın üretim düzeyindeki AI kodunda uygulama değerini gösteriyor.
BlockBeats Resmi Topluluğuna Katılın:
Telegram Abonelik Grubu: https://t.me/theblockbeats
Telegram Sohbet Grubu: https://t.me/BlockBeats_App
Twitter Resmi Hesabı: https://twitter.com/BlockBeatsAsia