EchoSpeech, gogle sonarowe, które śledzą ruchy twarzy w celu cichej komunikacji

System sonarowy do odczytywania ruchów ust wbudowany w okulary to sprytny i bardzo obiecujący pomysł EchoSpeech.

Badacz z Cornell University opracował gogle sonarowe, które „słyszą” cię nawet wtedy, gdy nic nie mówisz . Te okulary wykorzystują małe mikrofony i głośniki do odczytywania słów, które wypowiadają twoje usta, niezależnie od tego, czy chodzi o wstrzymanie utworu, przejście do następnego, wpisanie hasła bez dotykania telefonu, czy pracę z szablonami, czy rysowanie na komputerze bez klawiatury.

System sonarowy do odczytywania ruchów ust wbudowany w okulary.

Ruidong Zhang, który opracował urządzenie, rozpoczął od podobnego projektu, który wykorzystywał słuchawki bezprzewodowe i poprzednie modele z aparatami. Używanie okularów eliminuje potrzebę używania aparatów fotograficznych lub noszenia czegoś w uchu. „Większość technologii rozpoznawania w cichym świecie ogranicza się do zestawu predefiniowanych poleceń i wymaga od użytkownika patrzenia w kamerę lub noszenia jej, co nie zawsze jest praktyczne, a nawet wykonalne” — wyjaśnił Cheng Zhang, adiunkt na Uniwersytecie Cornell: „Sprowadzimy sonar do ludzkiego ciała”.

Naukowcy wyjaśniają, że ten system wymaga tylko kilku minut praktyki — na przykład czytania serii liczb — aby nauczyć się wzorców mowy użytkownika. Następnie okulary są gotowe. Wysyłają i odbierają fale dźwiękowe na twojej twarzy, wykrywając ruchy twoich ust i używając algorytmu głębokiego uczenia się do analizy profili echa w czasie rzeczywistym „z około 95% dokładnością”.

System robi to, przekazując przetwarzanie danych bezprzewodowo smartfonowi, dzięki czemu okulary pozostają bardzo dyskretne. Obecna wersja oferuje około 10 godzin pracy na baterii do wykrywania akustycznego. Ponadto żadne dane nie opuszczają telefonu. „Jesteśmy podekscytowani tym systemem, ponieważ zwiększa on możliwości, a jednocześnie jest potężny i szanuje prywatność” — powiedział Cheng Zhang. „Jest mały, ma niski pobór mocy i szanuje prywatność, wszystkie aspekty są bardzo ważne dla wdrażania nowych technologii, oprócz zachowania w prawdziwym świecie”.

Mądry i bardzo obiecujący pomysł EchoSpeech

Prywatność jest bardzo ważna w prawdziwym świecie. Na przykład Ruidong Zhang sugeruje używanie tych okularów do sterowania muzyką (bez rąk i oczu) w bibliotece lub do dyktowania wiadomości podczas głośnego koncertu, gdzie inne metody nie zadziałają. Ale być może najciekawszym scenariuszem byłoby umożliwienie osobom z zaburzeniami mowy prowadzenia dialogu z syntezatorem mowy, aby można było ich usłyszeć.

Jeśli wszystko pójdzie dobrze, te punkty powinny zostać sprzedane. Zespół Cornell’s Smart Computer Interfaces for Future Interactions (SciFi) Lab bada możliwość wprowadzenia tej technologii na rynek za pośrednictwem programu finansowania Cornell. Są również zainteresowani połączonymi aplikacjami okularów do śledzenia ruchów twarzy, oczu, a nawet górnej części ciała. „Wierzymy, że okulary staną się ważną platformą do komputerów osobistych, umożliwiającą zrozumienie codziennych czynności człowieka” — powiedział Cheng Zhang.