EchoSpeech, ekolodsglasögon som spårar ansiktsrörelser för tyst kommunikation

Ekolodssystemet för avläsning av munrörelser inbyggt i glasögon är en smart och mycket lovande EchoSpeech-idé.

En forskare från Cornell University har utvecklat ekolodsglasögon som kan ”höra” dig även när du inte pratar . Dessa glasögon använder små mikrofoner och högtalare för att läsa de ord som dina läppar säger tyst, oavsett om det är att pausa en låt eller hoppa till nästa, ange ett lösenord utan att röra telefonen, eller arbeta med mallar, rita på en dator utan tangentbord.

Ekolodssystem för avläsning av munrörelser inbyggt i glasögon.

Ruidong Zhang, som utvecklade enheten, började med ett liknande projekt som använde trådlösa hörlurar och tidigare modeller med kameror. Att använda glasögon eliminerar behovet av att använda kameror eller ha något i örat. ”De flesta igenkänningstekniker i den tysta världen är begränsade till en uppsättning fördefinierade kommandon och kräver att användaren tittar in i kameran eller bär den, vilket inte alltid är praktiskt eller ens genomförbart,” förklarade Cheng Zhang, biträdande professor vid Cornell University: ”Vi kommer att föra ekolod till människokroppen.”

Forskarna förklarar att det här systemet bara tar några minuters övning – som att läsa en serie siffror – för att lära sig användarens talmönster. Efter det är glasen klara. De skickar och tar emot ljudvågor i ditt ansikte genom att detektera din muns rörelser och använda en djupinlärningsalgoritm för att analysera ekoprofiler i realtid ”med ungefär 95 % noggrannhet”.

Systemet gör detta genom att delegera databehandling trådlöst till din smartphone, vilket gör att glasögonen förblir väldigt diskreta. Den nuvarande versionen erbjuder cirka 10 timmars batteritid för akustisk detektering. Dessutom lämnar ingen data din telefon. ”Vi är exalterade över det här systemet eftersom det ger kraft samtidigt som det respekterar integriteten”, säger Cheng Zhang. ”Den är liten, låg effekt och respekterar integriteten, alla aspekter är mycket viktiga för implementeringen av ny teknik, förutom att bete sig i den verkliga världen.”

Smart och mycket lovande idé EchoSpeech

Sekretess är mycket viktigt för användning i verkligheten. Till exempel föreslår Ruidong Zhang att man använder dessa glasögon för att styra musik (utan händer och ögon) i ett bibliotek, eller för att diktera ett meddelande under en högljudd konsert där andra metoder inte skulle fungera. Men det mest intressanta scenariot vore kanske att låta personer med talstörningar ha en dialog med en röstsyntes så att de kan höras.

Om allt går bra bör dessa poäng säljas. Ett team på Cornells Smart Computer Interfaces for Future Interactions (SciFi) Lab undersöker möjligheten att föra ut denna teknik på marknaden genom Cornells finansieringsprogram. De är också intresserade av anslutna glasögonappar för att spåra rörelser i ansiktet, ögonen och till och med överkroppen. ”Vi tror att glasögon kommer att bli en viktig personlig datorplattform för att förstå mänskliga aktiviteter i det dagliga livet”, säger Cheng Zhang.