Ant Group'un BaiLing'i 5 ses modelini açık kaynak olarak yayınladı: 500 milyon parametreli TTS, aynı ses tonu kör dinleme testinde açık kaynaklar arasında birinci oldu

动察 Beating AI hızlı haber: Ant Group'un BaiLing ekibi, Ming-3.0 ses serisini açık kaynak olarak yayınladı. Seri; ses sentezi, ses anlama ve konuşma tanıma olmak üzere üç ana yönü kapsıyor ve toplam 5 model içeriyor: 2 TTS, 2 Audio ve 1 ASR. Tümü MIT lisansıyla sunuluyor. Geliştiriciler bu modelleri birleştirerek ses girişi, içerik analizi ve sesli yanıt süreçlerini tamamlayabilir.

En dikkat çekici model, yalnızca 500 milyon parametreye sahip Ming-3.0-tts-0.5B. Kullanıcılar bir yönetmen gibi doğal dil kullanarak AI'dan öfkesini bastırarak konuşmasını, belirli kelimeleri vurgulamasını veya replik ritmini ayarlamasını isteyebiliyor. Model ayrıca ses klonlama, metinle ses tasarımı ve belirlenen noktalara hafif gülüş, iç çekme gibi 14 tür ses etiketi ekleme özelliklerini destekliyor. Artificial Analysis'in aynı ses tonuyla kör dinleme testinde model, 1069 Elo ile açık kaynak modeller arasında birinci sırada yer aldı.

Kayıtları anlamakla görevli Ming-3.0-audio-flash ise çok daha büyük: toplam parametre sayısı 126 milyar, her etkinleşmede yaklaşık 6,5 milyar parametre kullanılıyor. Model, toplantı kayıtlarını doğrudan alarak tartışma içeriği hakkında soru-cevap yapabiliyor; önce ayrı bir döküm oluşturmaya gerek kalmadan ortak noktaları, görüş ayrılıklarını ve yapılacak işleri düzenleyebiliyor.

Bir diğer model Ming-3.0-asr-tiny ise konuşma tanımaya odaklanıyor. Kişi adları, yer adları, sektör terimleri ve konuşma bağlamı girilerek lehçelerin ve nadir kelimelerin tanınması destekleniyor. Ant Group'un açıkladığı dört tür konuşma tanıma testinde modelin ortalama hata oranı %4,41 oldu.