EchoSpeech, sonar-prillid, mis jälgivad näo liigutusi vaikse suhtluse tagamiseks

Prillide sisse ehitatud sonarisüsteem suu liigutuste lugemiseks on nutikas ja väga paljutõotav EchoSpeechi idee.

Cornelli ülikooli teadlane on välja töötanud sonar-prillid, mis kuulevad teid isegi siis, kui te ei räägi . Need prillid kasutavad väikeseid mikrofone ja kõlareid, et lugeda sõnu, mida teie huuled vaikselt ütlevad, olgu selleks siis loo peatamine või järgmise juurde hüppamine, parooli sisestamine telefoni puudutamata või mallidega töötamine, arvutis ilma klaviatuurita joonistamine.

Prillide sisse ehitatud sonarisüsteem suu liigutuste lugemiseks.

Seadme välja töötanud Ruidong Zhang alustas sarnase projektiga, kus kasutati juhtmevabasid kõrvaklappe ja varasemaid kaameratega mudeleid. Prillide kasutamine välistab vajaduse kasutada kaameraid või kanda midagi kõrvas. “Enamik vaikse maailma tuvastustehnoloogiaid on piiratud ettemääratud käskude komplektiga ja nõuavad, et kasutaja vaataks kaamerasse või kandma seda, mis ei ole alati praktiline ega isegi teostatav,” selgitas Cornelli ülikooli dotsent Cheng Zhang: “Toome sonari inimkehasse.”

Teadlased selgitavad, et see süsteem võtab kasutaja kõnemustrite õppimiseks vaid mõne minuti harjutamist – näiteks numbrite seeria lugemist. Pärast seda on prillid valmis. Nad saadavad ja võtavad vastu teie näol helilaineid, tuvastades teie suu liigutused ja kasutades süvaõppe algoritmi, et analüüsida kajaprofiile reaalajas “umbes 95% täpsusega”.

Süsteem teeb seda, delegeerides andmetöötluse juhtmevabalt teie nutitelefonile, võimaldades prillidel jääda väga diskreetseks. Praegune versioon pakub akustiliseks tuvastamiseks umbes 10 tundi aku kasutusaega. Lisaks ei lahku teie telefonist andmed. “Oleme selle süsteemi üle põnevil, sest see annab jõudu, olles samas võimas ja austab privaatsust,” ütles Cheng Zhang. “See on väike, väikese võimsusega ja austab privaatsust, kõik aspektid on uute tehnoloogiate kasutuselevõtuks lisaks reaalses maailmas käitumisele väga olulised.”

Nutikas ja väga paljutõotav idee EchoSpeech

Privaatsus on reaalses maailmas kasutamiseks väga oluline. Näiteks soovitab Ruidong Zhang kasutada neid prille raamatukogus muusika juhtimiseks (ilma käte ja silmadeta) või valjuhäälse kontserdi ajal sõnumi dikteerimiseks, kui muud meetodid ei tööta. Aga kõige huvitavam stsenaarium oleks ehk see, kui kõnepuudega inimesed saaksid kõnesüntesaatoriga dialoogi pidada, et neid kuulda saaks.

Kui kõik läheb hästi, tuleks need punktid maha müüa. Cornelli nutikate arvutiliideste tulevaste interaktsioonide (SciFi) labori meeskond uurib võimalust tuua see tehnoloogia turule Cornelli rahastamisprogrammi kaudu. Nad on huvitatud ka ühendatud prillide rakendustest, mis jälgivad näo, silmade ja isegi ülakeha liikumist. “Usume, et prillidest saab oluline personaalarvuti platvorm inimtegevuse mõistmiseks igapäevaelus,” ütles Cheng Zhang.