Çip uzmanı: Yapay zeka hesaplama darboğazı çiplerden paketlemeye, ara bağlantıya ve depolamaya kayıyor

动察 Beating AI hızlı haber: Kıdemli çip tasarımcısı ve donanım analisti "Mr. Bubble", Frictionless Podcast röportajında, AI hesaplama altyapısının temel darboğazının artık yalnızca çip hesaplama gücünü artırmaktan, ileri paketleme, sistem ara bağlantı gecikmesi ve bellek hiyerarşisi yönetimine kaydığını belirtti.

Mr. Bubble'a göre, ileri üretim maliyetleri hızla artarken transistör yoğunluğundaki artış sınırlı kalıyor ve bu durum geleneksel Moore Yasası'nı ekonomik açıdan zorluyor. Üretim sürecini küçültmeye devam etmek yerine sektör, birden fazla çipi ileri paketleme yoluyla tek bir hesaplama sistemi halinde birleştirmeye yöneliyor. Ona göre gelecekte AI hesaplama gücünün temel birimi tek bir çip veya sunucu değil, tam bir raf hatta birden fazla raf olabilir; PCB, paketleme ve ara bağlantı kapasitesi kilit sınırlayıcı faktörler haline gelecektir.

Depolama açısından ise, AI çıkarım bağlam pencereleri genişledikçe devasa geçmiş bağlamın tamamının pahalı HBM'yi kaplamaması gerektiğini, sektörün giderek daha fazla flash offload kullanabileceğini, yüksek frekanslı verilerin HBM'de tutulup düşük frekanslı bağlamın daha büyük kapasiteli ve daha düşük maliyetli depolama katmanlarına taşınabileceğini düşünüyor. Ayrıca 3D DRAM'in bir sonraki nesil bellek teknolojisinin önemli bir yönü olabileceğini öngörüyor.

AI altyapı yatırımlarına ilişkin olarak Mr. Bubble, ön doldurma ve kod çözmenin giderek ayrık mimariler benimsemesiyle sistem düzeyinde donanım tasarımının öneminin daha da artacağını belirtiyor. Doğrudan büyük model şirketlerine yatırım yapmak yerine donanım, paketleme, depolama ve diğer kritik altyapı yeteneklerine sahip şirketlerin AI endüstri zincirinde daha uzun vadeli bir rol oynayabileceğini ifade ediyor.