EchoSpeech, sonaro akiniai, stebintys veido judesius, kad būtų tylus bendravimas

Į akinius įmontuota sonaro sistema burnos judesiams skaityti yra protinga ir daug žadanti EchoSpeech idėja.

Kornelio universiteto mokslininkas sukūrė sonaro akinius, kurie gali „girdėti“ jus net tada, kai nekalbate . Šie akiniai naudoja mažus mikrofonus ir garsiakalbius, kad perskaitytų žodžius, kuriuos tyliai sako jūsų lūpos, nesvarbu, ar tai būtų dainos pristabdymas ar perėjimas prie kitos, slaptažodžio įvedimas neliečiant telefono, darbas su šablonais, piešimas kompiuteriu be klaviatūros.

Į akinius įmontuota sonaro sistema burnos judesiams nuskaityti.

Ruidong Zhang, sukūręs įrenginį, pradėjo nuo panašaus projekto, kuriame buvo naudojamos belaidės ausinės ir ankstesni modeliai su kameromis. Naudojant akinius nebereikia naudoti fotoaparatų ar nešioti ką nors į ausį. „Dauguma atpažinimo technologijų tyliajame pasaulyje apsiriboja iš anksto nustatytų komandų rinkiniu ir reikalauja, kad vartotojas žiūrėtų į kamerą arba ją nešiotų, o tai ne visada praktiška ar net įmanoma“, – paaiškino Cheng Zhang, Kornelio universiteto docentas: „Į žmogaus kūną atnešime sonarą“.

Tyrėjai aiškina, kad norint išmokti vartotojo kalbos modelius, ši sistema užtrunka tik keletą minučių praktikos, pavyzdžiui, skaičių serijos skaitymo. Po to akiniai yra paruošti. Jie siunčia ir priima garso bangas ant veido, aptikdami burnos judesius ir naudodami gilaus mokymosi algoritmą, kad realiuoju laiku analizuotų aido profilius „maždaug 95 % tikslumu“.

Sistema tai daro belaidžiu būdu perduodama duomenų apdorojimą jūsų išmaniajam telefonui, todėl akiniai išliks labai diskretiški. Dabartinė versija siūlo apie 10 valandų baterijos veikimo laiką akustiniam aptikimui. Be to, jokie duomenys nepalieka jūsų telefono. „Džiaugiamės šia sistema, nes ji suteikia galių, nors yra galinga ir gerbia privatumą“, – sakė Cheng Zhang. „Jis yra mažas, mažai galios ir gerbiantis privatumą, visi aspektai yra labai svarbūs diegiant naujas technologijas, be to, kad elgiasi realiame pasaulyje.

Protinga ir daug žadanti idėja EchoSpeech

Privatumas yra labai svarbus naudojant realiame pasaulyje. Pavyzdžiui, Ruidong Zhang siūlo naudoti šiuos akinius muzikos valdymui (be rankų ir akių) bibliotekoje arba padiktuoti žinutę per garsų koncertą, kai kiti metodai neveikia. Tačiau įdomiausias scenarijus, ko gero, būtų leisti žmonėms, turintiems kalbos sutrikimų, palaikyti dialogą su balso sintezatoriumi, kad jie būtų išgirsti.

Jei viskas gerai, šie taškai turėtų būti parduoti. Cornell’s Smart Computer Interfaces for Future Interactions (SciFi) laboratorijos komanda tiria galimybę pateikti šią technologiją į rinką per Cornell finansavimo programą. Jie taip pat domisi prijungtomis akinių programėlėmis, leidžiančiomis stebėti veido, akių ir net viršutinės kūno dalies judesius. „Manome, kad akiniai taps svarbia asmeninio kompiuterio platforma, padedančia suprasti žmogaus veiklą kasdieniame gyvenime“, – sakė Cheng Zhang.