Nvidia, NVHBM bellek teknolojisini tanıttı; bant genişliği %30 artarken güç tüketimi %15 azaldı.

BlockBeats haberine göre, 27 Ağustos'ta Nvidia, yeni nesil yapay zeka altyapısı için NVHBM teknolojisini duyurdu. NVHBM, önde gelen bellek yongası üreticileriyle birlikte tasarlanıp doğrulanan özel bir HBM taban kalıbıdır ve NVLink Fusion aracılığıyla özel yapay zeka hızlandırıcıları (XPU) geliştiren hiper ölçekli bulut hizmet sağlayıcılarına ve yapay zeka odaklı kuruluşlara sunulacaktır.

Standart HBM4e ile karşılaştırıldığında, NVHBM her yığında en fazla %30 ekstra bellek bant genişliği sağlayabilir, HBM güç tüketimini en fazla %15 azaltabilir ve XPU için en fazla %25 hesaplama kalıp alanı serbest bırakabilir. Nvidia, bu iyileştirmelerin özel hızlandırıcıların daha büyük yapay zeka modellerini desteklemesine, KV önbelleğini daha hızlı okumasına ve eğitim ile büyük ölçekli çıkarım verimliliğini artırmasına yardımcı olabileceğini belirtti.

NVHBM, fiziksel bellek arayüzünü yeniden tasarlayarak bellek denetleyicisini 3D HBM yığınına taşır ve özel PHY entegre eder; böylece PHY ve ilgili alan boyutu en fazla %67 azalırken, ara katman kablolaması basitleştirilir. Serbest bırakılan yonga alanı, matris motorları, önbellek, ağ ve belirli iş yüklerine yönelik diğer işlevleri eklemek için kullanılabilir.

Raf düzeyinde, NVLink Fusion çipletleri özel XPU'ları NVLink ağına bağlayabilir ve NVLink-C2C üzerinden CPU'lara bağlanabilir. Nvidia, NVHBM ile NVLink Fusion birleştirildiğinde her XPU'nun uçtan uca performansının yaklaşık %30 artabileceğini ve özel XPU'ların Nvidia GPU'larıyla heterojen hesaplama sistemleri oluşturmasına olanak tanıdığını ifade etti. Şirket, makalede henüz belirli bir ticari kullanım zamanını açıklamadı.