EchoSpeech, ekkolodsbriller, der sporer ansigtsbevægelser for lydløs kommunikation

Sonarsystemet til aflæsning af mundbevægelser indbygget i briller er en smart og meget lovende EchoSpeech-idé.

En forsker fra Cornell University har udviklet ekkolodsbriller, der kan “høre” dig, selv når du ikke taler . Disse briller bruger små mikrofoner og højttalere til at læse de ord, dine læber stille siger, uanset om det er at sætte en sang på pause eller springe til den næste, indtaste en adgangskode uden at røre din telefon eller arbejde med skabeloner, tegne på en computer uden tastatur.

Sonarsystem til aflæsning af mundbevægelser indbygget i briller.

Ruidong Zhang, der udviklede enheden, startede med et lignende projekt, der brugte trådløse hovedtelefoner og tidligere modeller med kameraer. Brug af briller eliminerer behovet for at bruge kameraer eller have noget i øret. “De fleste genkendelsesteknologier i den stille verden er begrænset til et sæt foruddefinerede kommandoer og kræver, at brugeren ser ind i kameraet eller bærer det, hvilket ikke altid er praktisk eller endda gennemførligt,” forklarede Cheng Zhang, en assisterende professor ved Cornell University: “Vi vil bringe ekkolod til menneskekroppen.”

Forskerne forklarer, at dette system kun tager et par minutters øvelse – såsom at læse en række tal – for at lære brugerens talemønstre. Herefter er glassene klar. De sender og modtager lydbølger på dit ansigt ved at detektere din munds bevægelser og bruge en dyb læringsalgoritme til at analysere ekkoprofiler i realtid “med omkring 95% nøjagtighed”.

Systemet gør dette ved at uddelegere databehandling trådløst til din smartphone, så brillerne forbliver meget diskrete. Den nuværende version tilbyder omkring 10 timers batterilevetid til akustisk detektion. Derudover forlader ingen data din telefon. “Vi er begejstrede for dette system, fordi det styrker, samtidig med at det er kraftfuldt og respekterer privatlivets fred,” sagde Cheng Zhang. “Det er lille, lavt strømforbrug og respekterer privatlivets fred, alle aspekter er meget vigtige for udrulningen af ​​nye teknologier, udover at opføre sig i den virkelige verden.”

Smart og meget lovende idé EchoSpeech

Privatliv er meget vigtigt for brug i den virkelige verden. For eksempel foreslår Ruidong Zhang at bruge disse briller til at styre musik (uden hænder og øjne) i et bibliotek, eller til at diktere en besked under en højlydt koncert, hvor andre metoder ikke ville fungere. Men det mest interessante scenarie ville måske være at lade folk med talehandicap få en dialog med en stemmesynthesizer, så de kan blive hørt.

Hvis alt går vel, bør disse point sælges. Et team på Cornells Smart Computer Interfaces for Future Interactions (SciFi) Lab undersøger muligheden for at bringe denne teknologi på markedet gennem Cornells finansieringsprogram. De er også interesserede i forbundne brilleapps til at spore bevægelser i ansigtet, øjnene og endda overkroppen. “Vi tror på, at briller vil blive en vigtig personlig computerplatform til at forstå menneskelige aktiviteter i dagligdagen,” sagde Cheng Zhang.