EchoSpeech, gafas de sonar que rastrean los movimientos faciales para una comunicación silenciosa

El sistema de sonda para leer los movimientos de la boca integrado en los anteojos es una idea inteligente y muy prometedora de EchoSpeech.

Un investigador de la Universidad de Cornell ha desarrollado gafas de sonar que pueden «escucharlo» incluso cuando no está hablando . Estas gafas usan pequeños micrófonos y parlantes para leer las palabras que tus labios dicen en silencio, ya sea pausando una canción o saltando a la siguiente, ingresando una contraseña sin tocar tu teléfono, o trabajando con plantillas, dibujando en una computadora sin teclado.

Sistema de sonar para leer los movimientos de la boca integrado en las gafas.

Ruidong Zhang, quien desarrolló el dispositivo, comenzó con un proyecto similar que usaba auriculares inalámbricos y modelos anteriores con cámaras. El uso de anteojos elimina la necesidad de usar cámaras o usar algo en la oreja. “La mayoría de las tecnologías de reconocimiento en el mundo silencioso se limitan a un conjunto de comandos predefinidos y requieren que el usuario mire a la cámara o la use, lo que no siempre es práctico o factible”, explicó Cheng Zhang, profesor asistente en la Universidad de Cornell: “Llevaremos el sonar al cuerpo humano”.

Los investigadores explican que este sistema solo requiere unos minutos de práctica, como leer una serie de números, para aprender los patrones de habla del usuario. Después de eso, los vasos están listos. Envían y reciben ondas de sonido en su cara al detectar los movimientos de su boca y usar un algoritmo de aprendizaje profundo para analizar perfiles de eco en tiempo real «con una precisión de alrededor del 95 %».

El sistema hace esto al delegar el procesamiento de datos de forma inalámbrica a su teléfono inteligente, lo que permite que las gafas permanezcan muy discretas. La versión actual ofrece alrededor de 10 horas de duración de la batería para la detección acústica. Además, ningún dato sale de su teléfono. “Estamos entusiasmados con este sistema porque empodera a la vez que es poderoso y respeta la privacidad”, dijo Cheng Zhang. “Es pequeño, de bajo consumo y respetuoso con la privacidad, todos los aspectos son muy importantes para el despliegue de nuevas tecnologías, además de comportarse en el mundo real”.

Idea inteligente y muy prometedora EchoSpeech

La privacidad es muy importante para el uso en el mundo real. Por ejemplo, Ruidong Zhang sugiere usar estas gafas para controlar la música (sin manos ni ojos) en una biblioteca, o para dictar un mensaje durante un concierto ruidoso donde otros métodos no funcionarían. Pero el escenario más interesante, quizás, sería permitir que las personas con problemas de habla puedan dialogar con un sintetizador de voz para que puedan ser escuchados.

Si todo va bien, estos puntos deberían venderse. Un equipo del Laboratorio de Interfaces de Computadoras Inteligentes para Interacciones Futuras (SciFi) de Cornell está explorando la posibilidad de llevar esta tecnología al mercado a través del programa de financiamiento de Cornell. También están interesados ​​en aplicaciones de anteojos conectados para rastrear los movimientos de la cara, los ojos e incluso la parte superior del cuerpo. “Creemos que las gafas se convertirán en una importante plataforma informática personal para comprender las actividades humanas en la vida diaria”, dijo Cheng Zhang.