EchoSpeech, óculos de sonar que rastreiam movimentos faciais para comunicação silenciosa

O sistema de sonar para leitura dos movimentos da boca embutido nos óculos é uma ideia EchoSpeech inteligente e muito promissora.

Um pesquisador da Cornell University desenvolveu óculos de sonar que podem “ouvir” você mesmo quando você não está falando . Esses óculos usam pequenos microfones e alto-falantes para ler as palavras que seus lábios dizem silenciosamente, seja pausando uma música ou pulando para a próxima, inserindo uma senha sem tocar no telefone ou trabalhando com modelos, desenhando em um computador sem teclado.

Sistema de sonar para leitura de movimentos da boca embutido em óculos.

Ruidong Zhang, que desenvolveu o dispositivo, começou com um projeto semelhante que usava fones de ouvido sem fio e modelos anteriores com câmeras. O uso de óculos elimina a necessidade de usar câmeras ou usar algo no ouvido. “A maioria das tecnologias de reconhecimento no mundo silencioso é limitada a um conjunto de comandos predefinidos e exige que o usuário olhe para a câmera ou a use, o que nem sempre é prático ou viável”, explicou Cheng Zhang, professor assistente da Cornell University: “Vamos trazer o sonar para o corpo humano.”

Os pesquisadores explicam que esse sistema leva apenas alguns minutos de prática – como ler uma série de números – para aprender os padrões de fala do usuário. Depois disso, os copos estão prontos. Eles enviam e recebem ondas sonoras em seu rosto, detectando os movimentos de sua boca e usando um algoritmo de aprendizado profundo para analisar perfis de eco em tempo real “com cerca de 95% de precisão”.

O sistema faz isso delegando o processamento de dados sem fio ao seu smartphone, permitindo que os óculos permaneçam muito discretos. A versão atual oferece cerca de 10 horas de duração da bateria para detecção acústica. Além disso, nenhum dado sai do seu telefone. “Estamos entusiasmados com este sistema porque ele capacita enquanto é poderoso e respeita a privacidade”, disse Cheng Zhang. “É pequeno, de baixo consumo e respeita a privacidade, todos os aspectos são muito importantes para a implantação de novas tecnologias, além de se comportar no mundo real.”

Ideia inteligente e muito promissora EchoSpeech

A privacidade é muito importante para uso no mundo real. Por exemplo, Ruidong Zhang sugere o uso desses óculos para controlar a música (sem mãos e olhos) em uma biblioteca ou para ditar uma mensagem durante um concerto alto onde outros métodos não funcionariam. Mas o cenário mais interessante, talvez, seria permitir que pessoas com problemas de fala dialogassem com um sintetizador de voz para que pudessem ser ouvidas.

Se tudo correr bem, esses pontos devem ser vendidos. Uma equipe do Laboratório de Interfaces Inteligentes de Computadores para Interações Futuras (SciFi) da Cornell está explorando a possibilidade de levar essa tecnologia ao mercado por meio do programa de financiamento da Cornell. Eles também estão interessados ​​em aplicativos de óculos conectados para rastrear movimentos do rosto, olhos e até da parte superior do corpo. “Acreditamos que os óculos se tornarão uma importante plataforma de computação pessoal para entender as atividades humanas na vida diária”, disse Cheng Zhang.