Mistral, Voxtral 3'ü yayınladı: ses tanıma, akıl yürütme ve araç çağrısını gerçek zamanlı Agent'a bağlıyor

动察 Beating AI hızlı haber: Fransız yapay zeka şirketi Mistral, Voxtral 3'ü yayınladı; üç ses transkripsiyon modeli, bir ses sentezleme modeli ve eksiksiz bir Voice Agent SDK içeriyor.

Resmi demoda, bir kullanıcı İngilizce olarak dermatolog randevusu almak istiyor. Yapay zeka Fransızca sevk mektubunu okuyor, sistemde boş zaman dilimlerini sorguluyor, randevuyu tamamladıktan sonra İngilizce olarak onaylıyor. Tüm süreç gerçek zamanlı sesli diyalog ile gerçekleşiyor.

Voxtral 3, tüm görevleri üstlenen uçtan uca bir ses büyük modeli değil. Modüler bir tasarım kullanıyor: transkripsiyon modeli sesi tanımaktan ve kullanıcının ne zaman konuşmayı bitirdiğini belirlemekten sorumlu, Mistral Small gibi genel amaçlı büyük modeller akıl yürütme ve araç çağırmadan sorumlu, ses sentezleme modeli ise yanıt vermekten sorumlu. LiveKit tabanlı SDK bu bileşenleri gerçek zamanlı bir hatta birleştiriyor, telefon ve web görüşmelerini destekliyor ve kullanıcıların istedikleri zaman araya girmesine olanak tanıyor. Mistral, tek tur etkileşim gecikmesinin 1 saniyenin altında olduğunu iddia ediyor. Geliştiriciler ayrıca akıl yürütme modelini veya ses modelini tek başına değiştirebiliyor.

Transkripsiyon desteklenen diller önceki nesildeki 13'ten 50'den fazlaya çıkarıldı, ses sentezleme 35'ten fazla dili ve 50'den fazla lehçeyi destekliyor. Artificial Analysis'in bağımsız gerçek zamanlı olmayan transkripsiyon testinde Voxtral Small Transcribe 3'ün kelime hata oranı %2,1 olup üçüncü sırada yer alıyor; yalnızca Alibaba ve Microsoft'un modellerinin ardından geliyor. Ses sentezleme ise 13. sırada.

API gerçek zamanlı transkripsiyon dakika başına 0,008 dolar, ses sentezleme milyon karakter başına 13 dolar ücretlendiriliyor. İşletmeler ayrıca Mistral ile iletişime geçerek kendi sunucularında veya özel bulutlarında dağıtım yapabiliyor.