Google, işaret dilini klavyeye dönüştürüyor: Pixel 11 ile kameraya bakarak yazı yazabilirsiniz.

Beating monitörüne göre, Google DeepMind, işaret dilini metne çeviren SL2T modelini yayınladı ve bunu Pixel 11'in Gboard ve Live Transcribe özelliklerine entegre etti. İlk olarak Amerikan İşaret Dili'nden İngilizce'ye çeviri destekleniyor. Kullanıcılar telefona işaret diliyle işaret yaparak arama yapabilir, mesaj yazabilir, belge girebilir ve hatta doğrudan Gemini'ye soru sorabilir.

SL2T, 50'den fazla işaret dilini kapsayan 100.000 saatten fazla veriyle eğitildi; bunların yaklaşık dörtte biri Amerikan İşaret Dili. Telefon önce el, yüz ve vücut pozisyon koordinatlarını çıkarır ve yalnızca bu koordinatları çeviri için sunucuya gönderir; orijinal video yüklenmez.