Ana Sayfa
AI AI
Flaş
Derinlik
Etkinlikler
BlockBeats Pro
Daha Fazla
Finans
Özel
Blok Zinciri Ekosistemi
Giriş
Podkastlar
Veri
OPRR
#
BTC
$96,000
5.73%
ETH
$3,521.91
3.97%
HTX
$0.{5}2273
5.23%
SOL
$198.17
3.05%
BNB
$710
3.05%
lang
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
Partnered With:

AMD, yaklaşık 2,9 milyar dolarlık Taalas satın alımını tamamladı: Yapay zeka modellerini çipe işleyerek saniyede 17 bin Token üretiyor

动察 Beating AI hızlı haber: AMD, Kanada merkezli yapay zeka çip şirketi Taalas'ı satın alma işlemini tamamladığını duyurdu. İki taraf bu yılın ağustos ayında anlaşmaya varmıştı; işlemin toplam değeri en fazla yaklaşık 2,9 milyar dolar olup bunun en fazla 1,4 milyar doları belirli koşulların sağlanması halinde ödenecek.


Taalas, geleneksel GPU'lardan tamamen farklı bir yol izledi: çip üretimi sırasında yapay zeka modelinin parametrelerini doğrudan devreye gömüyor.


Sıradan GPU'lar model parametrelerini tekrar tekrar VRAM'den okumak zorundadır. Taalas ise depolama ile hesaplamayı bir araya getirerek veri taşımayı azaltıyor, ayrıca pahalı yüksek bant genişlikli belleğe (HBM) ve ilgili karmaşık paketlemeye olan ihtiyacı da ortadan kaldırıyor.


Taalas bu yılın şubat ayında, özellikle Meta'nın Llama 3.1 8B modelini çalıştırmak üzere tasarlanmış ilk çipi HC1'i tanıttı. Resmi testlere göre, 1000'er Token giriş ve çıkış koşullarında tek kullanıcı için üretim hızı saniyede yaklaşık 17 bin Token'a ulaşarak o dönemdeki Cerebras'ın yaklaşık 9 katına denk geldi.


Ancak bu tasarım esneklikten de ödün veriyor. Sıradan GPU'lar farklı modelleri istediği zaman yükleyebilirken, HC1 LoRA ince ayarını desteklese de temel modeli değiştirmek için hâlâ üretim maskesinin değiştirilmesi ve çipin yeniden üretilmesi gerekiyor. Taalas'ın verdiği süre yaklaşık iki ay.


HC1 ayrıca agresif 3-bit ve 6-bit niceleme kullanıyor; model parametrelerini büyük ölçüde sıkıştırsa da model kalitesinin bir kısmını kaybediyor. Şu anki saniyede 17 bin Token sonucu yalnızca Llama 3.1 8B'den geliyor; daha büyük modellerdeki gerçek performans henüz doğrulanmayı bekliyor.


AMD bu teknolojiyi gelecekteki yapay zeka hızlandırıcı ürünlerine dahil etmeyi ve mevcut Instinct GPU'larla birlikte kullanmayı planlıyor; böylece özel çipler sabit modellerin yüksek frekanslı çıkarım görevlerini üstlenecek.

举报 Düzeltme/Rapor
Düzeltme/Rapor
Gönder
Kütüphane Ekle
Sadece kendime görünür
Herkese Açık
Kaydet
Kütüphane Seç
Kütüphane Ekle
İptal
Tamamla