Cartesia, H-Net'i güncelledi: Büyük modellerin verileri kendi kendine bölmeyi öğrenmesini sağlayarak eğitim verimliliğini yaklaşık 10 kata kadar artırıyor

动察 Beating AI hızlı haber: Büyük dil modelleri artık dili kendi kendine öğrenebiliyor, ancak metnin Token'lara nasıl bölüneceği genellikle önceden eğitilmiş bir tokenizer tarafından belirleniyor. Bu hesaplama gücünden tasarruf sağlasa da modelin bilgiyi organize etme biçimini kısıtlıyor. Yabancı kelimeler veya kodlarla karşılaşıldığında, sabit bölme kuralları uygun olmayabilir; tamamen tokenizasyon yapmadan doğrudan bayt bayt işlemek ise hesaplama maliyetini büyük ölçüde artırır.

AI ses şirketi Cartesia, Temmuz 2025'te bu çelişkiyi çözmek için H-Net'i (hiyerarşik ağ) önerdi. Modelin ham baytları doğrudan okumasını ve bilgiyi nasıl bölüp sıkıştıracağını kendi kendine öğrenmesini sağlıyor. Örneğin yabancı bir kelimeyle karşılaşıldığında başlangıçta birden fazla parçaya ayrılabilir; bu kelime bağlam içinde tekrar tekrar göründükçe giderek daha az parçaya birleşir. Bu değişim çıkarım sırasında da gerçekleşebilir, yeniden eğitim gerektirmez.

Şimdi Cartesia yeni H-Net sürümünü duyurdu; eğitim verimliliğinde belirgin bir artış var. Ana koşulların sıkı kontrol edildiği deneylerde, aynı doğrulama kaybına ulaşmak için gereken hesaplama gücü yaklaşık %22 azaldı, alt görev değerlendirmelerinde hesaplama verimliliği yaklaşık iki katına çıktı. Daha büyük ölçekli deneylerde yeni H-Net, yalnızca yaklaşık 1 trilyon Token eşdeğeri veriyle altı testin ortalama puanında yaklaşık 11 trilyon Token ile eğitilen açık kaynak model SmolLM3'ü yakaladı; bu sonuca ulaşmak için gereken eğitim hesaplama gücü ise rakibinin yaklaşık onda biri.

Bu yöntem yalnızca metinle sınırlı değil. Ekip, bakteri ve arke genomlarıyla H-Net'i eğitti ve modelin insan gen parçalarını işlerken kodlama bölgesindeki her üç bazda bir gruplama düzenini kendi kendine tanıyabildiğini keşfetti. İlgili DNA modelleme deneylerinde hesaplama verimliliği yaklaşık 6–7 kat arttı.

Ses, metin gibi hazır kelime sınırlarına sahip değildir; Cartesia'nın başlangıçta H-Net'i araştırmasının nedeni aslında ses modelinin fonemleri ve kelimeleri sürekli sesten doğrudan öğrenmesini sağlamak, önceden tasarlanmış bölme kurallarına bağımlı olmamasını istemekti.