EchoSpeech, гідролокаційні окуляри, які відстежують рухи обличчя для тихого спілкування

Сонарна система для читання рухів рота, вбудована в окуляри, є розумною та дуже перспективною ідеєю EchoSpeech.

Дослідник Корнельського університету розробив гідролокаційні окуляри, які можуть «чути» вас, навіть коли ви не говорите . У цих окулярах використовуються невеликі мікрофони та динаміки, щоб читати слова, які мовчки вимовляють ваші губи, чи то призупинення пісні чи перехід до наступної, введення пароля, не торкаючись телефону, робота з шаблонами, малювання на комп’ютері без клавіатури.

Сонарна система для читання рухів рота, вбудована в окуляри.

Ruidong Zhang, який розробив пристрій, розпочав подібний проект, у якому використовувалися бездротові навушники та попередні моделі з камерами. Використання окулярів позбавляє від необхідності використовувати камери або носити щось у вусі. «Більшість технологій розпізнавання в тихому світі обмежуються набором попередньо визначених команд і вимагають від користувача дивитися в камеру або носити її, що не завжди практично або навіть можливо», — пояснив Чен Чжан, доцент Корнельського університету: «Ми приведемо ехолот до тіла людини».

Дослідники пояснюють, що цій системі потрібно лише кілька хвилин практики — наприклад, читання серії чисел — щоб вивчити шаблони мовлення користувача. Після цього келихи готові. Вони надсилають і приймають звукові хвилі на вашому обличчі, виявляючи рухи вашого рота та використовуючи алгоритм глибокого навчання для аналізу профілів відлуння в режимі реального часу «з точністю приблизно 95%.

Система робить це, делегуючи бездротову обробку даних вашому смартфону, дозволяючи окулярам залишатися дуже непомітними. Поточна версія забезпечує приблизно 10 годин автономної роботи для акустичного виявлення. Крім того, дані не залишають ваш телефон. «Ми в захваті від цієї системи, оскільки вона розширює можливості, водночас є потужною та поважає конфіденційність», — сказав Чен Чжан. «Він невеликий, малопотужний і поважає конфіденційність, усі аспекти дуже важливі для розгортання нових технологій, окрім поведінки в реальному світі».

Розумна і дуже перспективна ідея EchoSpeech

Конфіденційність дуже важлива для використання в реальному світі. Наприклад, Ruidong Zhang пропонує використовувати ці окуляри для керування музикою (без рук і очей) у бібліотеці або для диктування повідомлення під час гучного концерту, де інші методи не спрацювали б. Але, мабуть, найцікавішим сценарієм було б дозволити людям з вадами мовлення вести діалог із синтезатором голосу, щоб їх чули.

Якщо все піде добре, ці бали слід продати. Команда лабораторії Smart Computer Interfaces for Future Interactions (SciFi) компанії Cornell вивчає можливість виведення цієї технології на ринок за допомогою програми фінансування Cornell. Вони також зацікавлені в підключених додатках для окулярів, щоб відстежувати рухи обличчя, очей і навіть верхньої частини тіла. «Ми віримо, що окуляри стануть важливою персональною комп’ютерною платформою для розуміння людської діяльності в повсякденному житті», — сказав Чен Чжан.