EchoSpeech, 무음 통신을 위해 얼굴 움직임을 추적하는 소나 고글

안경에 내장된 입 움직임을 읽는 소나 시스템은 스마트하고 매우 유망한 EchoSpeech 아이디어입니다.

코넬 대학의 한 연구원은 당신이 말하지 않을 때에도 “들을” 수 있는 소나 고글을 개발했습니다 . 이 안경은 작은 마이크와 스피커를 사용하여 노래를 일시 중지하거나 다음 노래로 건너뛰거나, 휴대폰을 만지지 않고 암호를 입력하거나, 템플릿 작업을 하거나, 키보드 없이 컴퓨터에서 그림을 그리는 등 입술이 조용히 말하는 단어를 읽습니다.

안경에 내장된 입 움직임을 읽는 소나 시스템.

장치를 개발한 Ruidong Zhang은 무선 헤드폰과 카메라가 있는 이전 모델을 사용하는 유사한 프로젝트로 시작했습니다. 안경을 사용하면 카메라를 사용하거나 귀에 무언가를 착용할 필요가 없습니다. “조용한 세상에서 대부분의 인식 기술은 사전 정의된 명령 세트로 제한되며 사용자가 카메라를 보거나 카메라를 착용해야 합니다. 이는 항상 실용적이거나 실행 가능한 것은 아닙니다.”라고 Cornell University의 조교수인 Cheng Zhang은 설명했습니다. “인체에 소나를 도입하겠습니다.”

연구자들은 이 시스템이 일련의 숫자를 읽는 것과 같은 몇 분의 연습만으로 사용자의 언어 패턴을 학습할 수 있다고 설명합니다. 그 후 안경이 준비되었습니다. 입의 움직임을 감지하고 딥 러닝 알고리즘을 사용하여 “약 95% 정확도”로 실시간으로 에코 프로파일을 분석하여 얼굴에서 음파를 송수신합니다.

이 시스템은 무선으로 데이터 처리를 스마트폰에 위임하여 안경이 눈에 잘 띄지 않도록 합니다. 현재 버전은 음향 감지를 위해 약 10시간의 배터리 수명을 제공합니다. 또한 데이터가 휴대전화에 남지 않습니다. Cheng Zhang은 “우리는 이 시스템이 강력하고 개인 정보를 존중하면서 권한을 부여하기 때문에 매우 기쁩니다.”라고 말했습니다. “그것은 작고, 저전력이며 프라이버시를 존중합니다. 현실 세계에서 행동하는 것 외에도 모든 측면이 새로운 기술의 배포에 매우 중요합니다.”

똑똑하고 유망한 아이디어 EchoSpeech

프라이버시는 실제 사용에 매우 중요합니다. 예를 들어 Ruidong Zhang은 이 안경을 사용하여 도서관에서 (손과 눈 없이) 음악을 제어하거나 다른 방법으로는 작동하지 않는 시끄러운 콘서트에서 메시지를 구술할 것을 제안합니다. 그러나 아마도 가장 흥미로운 시나리오는 언어 장애가 있는 사람들이 음성 합성기로 대화를 하도록 허용하여 그들이 들을 수 있도록 하는 것입니다.

모든 것이 잘되면 이 포인트를 판매해야 합니다. Cornell의 SciFi(Smart Computer Interfaces for Future Interactions) 연구소 팀은 Cornell의 자금 지원 프로그램을 통해 이 기술을 시장에 출시할 가능성을 모색하고 있습니다. 그들은 또한 얼굴, 눈, 심지어 상체의 움직임을 추적하는 연결된 안경 앱에 관심이 있습니다. “우리는 안경이 일상 생활에서 인간의 활동을 이해하는 데 중요한 개인 컴퓨팅 플랫폼이 될 것이라고 믿습니다.”라고 Cheng Zhang은 말했습니다.