TL;DR

·Yapay zekanın depolama ihtiyacı yalnızca HBM ile sınırlı değil. Eğitim, HBM'den sistem DRAM'ine, SSD'ye ve paylaşımlı depolamaya kadar tüm bellek hiyerarşisini neredeyse harekete geçirir.

·Çıkarımın gerçek darboğazı kod çözme aşamasında ortaya çıkar. KV Cache, bağlam uzunluğu ve eşzamanlı kullanıcı sayısıyla birlikte büyür; bellek kapasitesi, model ağırlıklarından daha önce ticarileştirme ölçeğini sınırlayabilir.

·Ajanlar depolama baskısını daha da artırır. Çok adımlı çağrılar tekrar tekrar bağlam üretir, harici araçları çağırır ve CPU, DRAM ile KV Cache gereksinimlerini yükseltir.

·HBM ile geleneksel SSD arasında CXL, "Storage Next" ve CMX dahil olmak üzere birden fazla yeni katman ortaya çıkıyor; hedef, genişleyen çıkarım verilerini daha düşük maliyetle karşılamak.

·Yeni teknoloji yollarının hepsi hayata geçemeyebilir. HBF, zHBM, NVHBM, ZAM ve PIM; ısı dağılımı, verim, ekosistem uyumluluğu veya tedarik zinciri kâr dağılımı gibi sorunlarla karşı karşıya.

·Bernstein, Samsung Electronics, SK Hynix, Micron, SanDisk, Seagate ve Western Digital için olumlu görüşünü sürdürüyor; Kioxia için ise "piyasanın altında performans" notunu koruyor.

Son iki yılda yapay zeka depolama piyasası anlatısı neredeyse tamamen HBM etrafında döndü. Ancak büyük modeller eğitimden büyük ölçekli çıkarıma geçtikçe, yalnızca HBM eklemek tüm sorunları çözmekte yetersiz kalıyor.

Bernstein'ın en son yayınladığı küresel depolama raporunda, farklı yapay zeka iş yüklerinin bellek gereksinimlerinin belirgin şekilde farklılaştığı belirtiliyor: eğitim hesaplama gücü ve bant genişliğini vurgularken, çıkarımdaki kod çözme aşaması kapasiteye daha çok bağımlı; RAG büyük ölçekli veritabanları gerektirirken, ajan iş akışları hem geleneksel sunucuların hem de yapay zeka sunucularının yükünü aynı anda artırıyor.

Bu, yapay zekanın getirdiği değişimin HBM'den sistem DRAM'ine, SSD'ye, HDD'ye ve hatta bant depolamaya doğru aşağı yönlü aktığı anlamına geliyor. "Bellek duvarı" etrafında, endüstri zinciri mevcut katmanlar arasına yeni ürünler eklemeye başlıyor; performans, kapasite ve maliyet arasında yeni bir denge bulmayı hedefliyor.

Çıkarım ölçeğinin üst sınırı KV Cache'e bağlı olabilir

Büyük model eğitim aşamasında GPU ve HBM hâlâ merkezi konumda.

Eğitim, model parametrelerini ve ara verileri sık sık okumayı gerektirir; hesaplama gücü ve bellek bant genişliği açısından yüksek talepler doğurur. Ancak büyük bir modelin eğitimi yalnızca HBM'ye bağlı değildir: ham veri setinin daha düşük maliyetli depolama ortamlarında saklanması gerekir; veriler GPU'ya girmeden önce genellikle sistem DRAM'i ve yerel SSD tarafından önbellekleme ve ön işleme tamamlanır; haftalarca hatta aylarca süren eğitim, donanım veya yazılım arızaları nedeniyle görevin baştan başlamaması için düzenli olarak kontrol noktaları kaydetmeyi gerektirir.

Bu nedenle, büyük ölçekli bir eğitim aslında HBM'den sistem DRAM'ine, yerel SSD'ye ve ağ depolamasına kadar tüm mimariyi çağırır.

Çıkarım aşamasına geçildiğinde, bellek gereksinimleri daha da farklılaşır.

Çıkarım genellikle ön doldurma (Prefill) ve kod çözme (Decode) olmak üzere iki aşamaya ayrılabilir. Ön doldurma, kullanıcı girdisini işleyip ilk Token'ı üretmekten sorumludur ve esas olarak büyük ölçekli matris işlemleri gerçekleştirir; bu daha çok "hesaplama sınırlı" bir yapıya sahiptir. Bu aşamada GPU kullanımı ve HBM bant genişliği daha önemlidir; yaygın metrik ilk Token gecikmesidir.

Kod çözme aşaması ise farklıdır. Model, Token'ları tek tek üretmeli ve yeni bir Token üretirken daha önce üretilen bilgileri çağırmalıdır. Tekrarlanan hesaplamaları önlemek için sistem genellikle bu verileri KV Cache'te saklar.

KV Cache'in iki önemli özelliği vardır: kapasitesi bağlam uzunluğuyla doğrusal olarak artar ve her kullanıcının ayrı bir önbelleğe ihtiyacı vardır. Bu nedenle, bağlam uzadığında ve eşzamanlı kullanıcı sayısı arttığında, bu iki faktör bellek kullanımını birlikte yukarı çeker.

Bernstein, büyük ölçekli AI dağıtımlarında KV Cache'in kapladığı belleğin model ağırlıklarını aşabileceğini ve eşzamanlı kullanıcı sayısı ile bağlam penceresini sınırlayan ana faktör haline gelebileceğini düşünüyor. Modelin kaç kullanıcıya hizmet verebileceği ve ne kadar uzun bağlam sürdürebileceği, sonuçta gelir ölçeğini doğrudan etkiler.

Bu açıdan bakıldığında, çıkarım çağındaki rekabetin odağı yalnızca çipin ne kadar hesaplama yapabildiği değil, aynı zamanda sistemin büyüyen bağlamı ne kadar düşük maliyetle saklayıp okuyabildiğidir.

RAG ve Agent, talebi geleneksel belleğe taşıyor

RAG ve Agent'ın yaygınlaşması, AI depolama ihtiyaçlarını HBM dışına daha da yayıyor.

RAG temel olarak veritabanı oluşturma ve veritabanı arama olmak üzere iki aşamadan oluşur. Veritabanı oluştururken sistem, PDF, web sayfası, kod gibi çok sayıda yapılandırılmamış veriyi işlemeli ve bunları aranabilir vektörlere ve dizinlere dönüştürmelidir. Bu süreç daha çok yüksek kapasiteli SSD'lere ve sistem DRAM'ine dayanır; HBM'nin rolü görece sınırlıdır.

Veritabanı kurulduktan sonra, kullanıcı sorgusu önce vektöre dönüştürülür ve ardından veritabanındaki içerikle eşleştirilir. Vektör üretimi GPU ve HBM'de hızlıca tamamlanabilir, ancak gerçek arama genellikle daha çok sistem DRAM'ine bağlıdır. Arama sonuçları daha sonra kullanıcı sorusuyla birleştirilir ve normal ön doldurma ve kod çözme sürecine girer.

Agent iş akışlarının getirdiği yük daha da ağırdır.

Geleneksel diyalog genellikle "girdi—model—çıktı" şeklindeki tek seferlik bir çağrıdır; Agent ise hedefi birden fazla adıma bölmeyi, diğer modelleri veya harici araçları çağırmayı, ara sonuçları kaydetmeyi ve geri bildirime göre yeniden planlamayı gerektirir. Her çağrının ürettiği sonuç, bir sonraki model çağrısının girdisi haline gelebilir.

Bu durum aynı anda iki tür ihtiyacı artırır: bir yandan, araç çağrıları ve AI dışı görevler daha fazla CPU ve sistem belleği gerektirir; diğer yandan, modeller arasında sürekli bağlam aktarımı, ön doldurma, kod çözme ve KV Cache yükünü hızla genişletir.

Bu nedenle, Agent uygulamalarının gelişimi yalnızca GPU ve HBM'yi desteklemekle kalmaz, aynı zamanda sunucu DRAM'i, kurumsal SSD ve daha düşük maliyetli depolama ortamlarına olan talebi de artırabilir.

HBM ile SSD arasında yeni bir bellek katmanı oluşuyor

Geleneksel sunucuların bellek mimarisi kabaca işlemci içi önbellek, sistem DRAM'i, yerel SSD ve paylaşımlı depolama olarak ayrılabilir. AI sunucuları bu yapıya HBM ekler, ancak HBM kapasitesi sınırlıdır ve maliyeti yüksektir, tüm verileri taşıması zordur.

Sektör zincirinin mevcut çözümü, farklı katmanlar arasına yeni ürünler eklemektir.

CXL, fiziksel olarak dağınık belleği paylaşılan bir kaynak havuzunda birleştirmeye çalışır; böylece CPU, GPU ve genişletme cihazları DRAM'i daha esnek bir şekilde çağırabilir. Bazı ürünler ayrıca DRAM veya SRAM'ı önbellek olarak kullanıp NAND ile birleştirerek maliyeti düşürürken erişim gecikmesini kısaltır.

NVIDIA'nın desteklediği "Storage Next", depolama yönetiminin bir kısmını CPU'dan GPU'ya kaydırmayı ve NAND'ın DRAM'e daha yakın gecikme, IOPS ve veri erişim ayrıntı düzeyi elde etmesini hedefler. Kioxia'nın XL-FLASH tabanlı GP serisi SSD'leri bu yönün temsilcisidir.

CMX öncelikle KV Cache'e odaklanır. SSD'yi bağımsız veri düğümlerine yerleştirir ve DPU, Ethernet ile anahtar çipleri aracılığıyla hesaplama düğümlerine bağlar. Amacı, farklı GPU'lar arasında çıkarım bağlamını paylaşmak, tekrarlanan depolamayı azaltmak ve aynı zamanda tek bir sunucunun bellek kapasitesi sınırını aşmaktır.

Bu çözümler ortak bir eğilime işaret eder: AI sistemleri tüm aktif verileri uzun süre HBM'de tutamaz; verilerin erişim sıklığına ve gecikme gereksinimlerine göre farklı katmanlara dağıtılması gerekir.

Sıcak veriler HBM'de kalır, bazı bağlamlar sistem DRAM'ine veya yüksek performanslı SSD'lere aktarılır, daha soğuk veriler ise normal SSD, HDD ve hatta manyetik bantlara inmeye devam eder. Bellek katmanları ne kadar ince olursa, sistemin performans ile maliyet arasında denge kurma olasılığı o kadar artar.

Yeni teknolojiler yoğun biçimde ortaya çıkıyor, ancak ticarileşme hâlâ belirsiz

「Bellek duvarı」 etrafında, endüstri zinciri birden fazla yeni yol önerdi.

Samsung'un zHBM planı, HBM'yi işlemcinin üzerine istifleyerek veri aktarım mesafesini daha da kısaltmayı hedefliyor. Ancak bu tasarım, GPU'nun ürettiği ısının yönetilmesini gerektirirken, gofret seviyesinde hibrit bağlama için daha yüksek verim ve maliyet talepleri getiriyor.

Nvidia'nın desteklediği NVHBM ise temel die'ların Nvidia tarafından tasarlanmasını ve muhtemelen TSMC tarafından üretilmesini öngörüyor. Bu çözüm, güç tüketimini azaltıp bant genişliğini artırabilir, ancak bellek üreticilerinin HBM temel die tasarım ve üretim değerini de zayıflatabilir. Ürün standardizasyonu ilerledikçe, katma değerin bir kısmı bellek üreticilerinden Nvidia'ya ve gofret dökümhanelerine kayabilir.

SanDisk ve SK Hynix'in desteklediği HBF, NAND kullanarak HBM'ye yakın bant genişliği sağlamayı, aynı zamanda daha büyük kapasite ve daha düşük birim maliyet elde etmeyi umuyor. Ancak NAND ile DRAM arasında gecikme ve performans açısından hâlâ belirgin farklar var; HBF'nin birden fazla teknoloji katmanını aşması gerekiyor ve uygulanması hiç de kolay değil.

Intel'in ZAM'ı, DRAM die'larını 90 derece döndürerek ısı dağılımını iyileştirmeyi deniyor ve 2029 mali yılında pratik kullanıma geçmeyi hedefliyor; Qualcomm'un HBC'si ise LPDDR ve geleneksel paketleme kullanarak, performanstan kısmen ödün verip CoWoS maliyetinden kaçınıyor.

Ayrıca PIM, işlemci ile bellek arasındaki veri taşımayı azaltmak için doğrudan bellek çiplerine hesaplama gücü eklemeye çalışıyor. Ancak bu, mevcut bilgi işlem mimarisini değiştirecek; işlemci, yazılım ve ağın birlikte uyum sağlaması gerekecek ve zaten olgunlaşmış mantık çipi ile bellek çipi iş bölümü sistemini de sarsacak. Bernstein, sektördeki benimsenmenin hâlâ sınırlı olduğunu düşünüyor.

Buradan görüldüğü üzere, yeni çözümlerin sayısının hızla artması, tüm yolların ölçekli bir pazar oluşturabileceği anlamına gelmiyor. Mevcut yazılım ve donanım ekosistemiyle uyumluluk, maliyet avantajı sağlayıp sağlayamama ve tedarik zincirindeki tarafların çıkar dengesine ulaşıp ulaşamaması, nihai ticarileşme sonucunu belirleyecek.

AI depolama kazananları yalnızca HBM üreticileri olmayacak

Yatırım açısından Bernstein'ın değerlendirmesi oldukça net: AI'ın depolama endüstrisine etkisi, az sayıda üst düzey üründen daha fazla katmana yayılıyor.

HBM hâlâ eğitim ve yüksek performanslı çıkarımın çekirdeği olmaya devam ediyor; Samsung Electronics, SK Hynix ve Micron, yüksek bant genişlikli bellek talebinden faydalanmaya devam edecek. Ancak çıkarım ölçeği büyüdükçe, sistem DRAM ve NAND'ın önemi artacak. KV Cache taşmaları, RAG veritabanları ve Agent'ların ürettiği büyük miktardaki ara veriler, SSD ve paylaşımlı depolama talebini de artıracak.

Daha soğuk veriler düşmeye devam edecek. Bernstein, yapay zekanın getirdiği veri artışının HDD'ye fayda sağlamaya başladığını; bazı senaryolarda, NAND ve HDD kapasitesinin yetersizliği nedeniyle geleneksel olarak çoğunlukla arşivleme için kullanılan manyetik bant talebinin de arttığını belirtti.

Rapor, Samsung Electronics, SK Hynix, Micron, SanDisk, Seagate ve Western Digital'e "Piyasa Üstü Performans" notu vermeye devam ediyor. Bunlardan Samsung Electronics, SK Hynix ve Micron, DRAM ve HBM ile ilişkiliyken; SanDisk, NAND ve HBF'den faydalanıyor; Seagate ve Western Digital ise daha düşük maliyetli yüksek kapasiteli depolamaya karşılık geliyor. Kioxia ise "Piyasa Altı Performans" olarak değerlendirildi.

Ancak bu raporun temel değeri, bir dizi yeni teknoloji kısaltması listelemesinde değil, AI depolama pazarının sınırlarını yeniden tanımlamasında yatıyor.

Eğitim döneminin darboğazları esas olarak GPU ve HBM'de yoğunlaşıyor; çıkarım ve Ajan döneminde ise darboğazlar tüm bellek mimarisi boyunca yayılmaya başlıyor. Gelecekteki AI altyapı rekabeti, yalnızca çiplerin ne kadar hızlı hesaplayabildiğine değil, aynı zamanda verilerin yeterince düşük maliyetle HBM, DRAM, NAND ve paylaşılan depolama arasında verimli bir şekilde akıp akamayacağına da bağlı.

BlockBeats Resmi Topluluğuna Katılın:

Telegram Abonelik Grubu: https://t.me/theblockbeats

Telegram Sohbet Grubu: https://t.me/BlockBeats_App

Twitter Resmi Hesabı: https://twitter.com/BlockBeatsAsia