Gradium açık kaynaklı ultra küçük ses modeli: ağırlıklar sadece 64 MB, telefon internet olmadan da konuşabiliyor
动察 Beating AI hızlı haber: AI ses şirketi Gradium, açık kaynaklı ses üretim modeli Phonon'u yayınladı. Bu yıl nisan ayında yaklaşık 100 milyon parametreyle özel beta testine başlayan model, bu kez 31 milyon ve 40 milyon parametreli sürümlerle tanıtıldı ve model ağırlıkları ilk kez kamuya açıldı. Bunlardan 31 milyon parametreli İngilizce sürümün Q8 ağırlıkları yalnızca 64 MB olup sıradan bir CPU'da çalışabiliyor. 40 milyon parametreli sürüm İngilizce, Fransızca, Almanca, İspanyolca ve Portekizce olmak üzere beş dili destekliyor; tek dilli ve beş dili birleştiren model seçenekleri sunuluyor.
Phonon, daha büyük modellerin damıtılmasıyla eğitildi. Metni doğrudan okuyor, önce fonemlere dönüştürmeye gerek kalmıyor; ardından Transformer ile ses özelliklerini adım adım tahmin ediyor ve Mimi kod çözücü aracılığıyla ses üretiyor. Her çıktı 80 milisaniyelik konuşmaya karşılık geliyor; tüm cümle üretilmesini beklemeden sentezleme ve oynatma eş zamanlı yapılabiliyor.
Hız açısından Gradium, Phonon'un Snapdragon 8 Elite Gen 5 üzerinde ilk ses parçasını yalnızca 7,5 milisaniyede ürettiğini ve sentez hızının gerçek zamanın 24 katına ulaştığını açıkladı. MacBook Air M5'in CPU'sunda ilk ses yaklaşık 7 milisaniye sürüyor.
Ses kalitesi açısından Gradium, 1189 dinleyiciyle 17 binden fazla kör dinleme oylaması gerçekleştirdi. 31 milyon parametreli İngilizce sürüm 2098 Elo puanı alarak 100 milyon parametreli Pocket TTS'nin 2056 puanını geride bıraktı. Telefon numaraları, e-postalar gibi karmaşık metinler içeren 500 cümlelik başka bir İngilizce testte Phonon'un kelime hata oranı %1,7 olup 82 milyon parametreli açık kaynaklı başka bir ses modeli Kokoro'nun %3,5'lik oranından düşük. Bu sonuçların tümü Gradium'un açıkladığı testlerden geliyor.
Phonon, Ollama ve MLX-Audio gibi araçlara entegre edildi. İş ortağı Xybrid ayrıca 16 GB'lık bir M1 Pro MacBook üzerinde 8B Agent, Whisper ve Phonon'u aynı anda çalıştırarak 3D oyun karakterlerinin tamamen çevrimdışıyken gerçek zamanlı konuşmasını sağladı.
Şu anda yalnızca 31 milyon parametreli İngilizce sürüm Apache 2.0 lisansıyla ticari kullanıma açık. 40 milyon parametreli ve çok dilli sürümler CC BY-NC lisansıyla sunuluyor; ticari kullanım için ayrıca lisans alınması gerekiyor. Çince model henüz yayınlanmadı.
