动察 Beating AI hızlı haber, 19 Kasım'da Volcano Engine, Doubao gerçek zamanlı ses-video modeli SeedRealtime 1.0'ın API'sini resmen açtı. Bu model bu yılın Ağustos ayında Doubao uygulamasında yayına girmişti, şimdi üçüncü taraf geliştiriciler de bu gerçek zamanlı görüntülü görüşme yeteneğini kendi ürünlerine entegre edebilecek.
SeedRealtime, kamera görüntüsünü, sesi ve zaman sırasını aynı uçtan uca modele yerleştiriyor. AI, bir yandan gözlemleyip bir yandan kullanıcının konuşmasını dinleyebiliyor, aynı zamanda ne zaman konuşmaya başlaması gerektiğine karar vererek geleneksel ses tanıma, görsel anlama, ses sentezleme gibi birden fazla modülün zincirlenmesinden kaynaklanan gecikme ve bilgi kaybını azaltıyor.
Resmi demoda, kullanıcı tüm kahve çekirdeklerini kahve makinesinin ekstraksiyon koluna döktüğünde, AI soru sormayı beklemeden önce öğütülmesi gerektiğini proaktif olarak hatırlatıyor. Müze gezerken, kullanıcının önceden hangi eseri aradığını belirtmesi yeterli, model kamerayı sürekli gözlemleyerek hedef ortaya çıktığında proaktif olarak hatırlatabiliyor. Ayrıca çok kişili konuşmaları ayırt edebiliyor ve gürültülü ortamlarda yanındaki kişilerin sohbetleriyle yanlışlıkla tetiklenmeyi önlüyor.
ByteDance'in bu yılın Ağustos ayında yayınladığı insan değerlendirmesi, birden fazla modelin zincirlenmesi çözümüne kıyasla SeedRealtime'ın ses-video diyalog ritim sorunlarının yaklaşık yarı yarıya azaldığını, söz kesme, gecikmeli yanıt ve arka plan gürültüsüyle yanlış tetiklenme gibi durumların belirgin şekilde azaldığını gösteriyor.
