EchoSpeech, eine Sonarbrille, die Gesichtsbewegungen für lautlose Kommunikation verfolgt

Das in Brillen eingebaute Sonarsystem zum Lesen von Mundbewegungen ist eine smarte und vielversprechende EchoSpeech-Idee.

Ein Forscher der Cornell University hat eine Sonarbrille entwickelt , die Sie auch dann „hören“ kann, wenn Sie nicht sprechen . Diese Brillen verwenden kleine Mikrofone und Lautsprecher, um die Worte zu lesen, die Ihre Lippen lautlos sagen, sei es das Anhalten eines Songs oder das Springen zum nächsten, die Eingabe eines Passworts, ohne Ihr Telefon zu berühren, oder das Arbeiten mit Vorlagen oder das Zeichnen auf einem Computer ohne Tastatur.

In Brillen eingebautes Sonarsystem zum Lesen der Mundbewegungen.

Ruidong Zhang, der das Gerät entwickelt hat, startete mit einem ähnlichen Projekt, bei dem drahtlose Kopfhörer und Vorgängermodelle mit Kameras zum Einsatz kamen. Durch die Verwendung einer Brille entfällt die Notwendigkeit, Kameras zu verwenden oder etwas im Ohr zu tragen. „Die meisten Erkennungstechnologien in der stillen Welt beschränken sich auf eine Reihe vordefinierter Befehle und erfordern, dass der Benutzer in die Kamera schaut oder sie trägt, was nicht immer praktisch oder gar machbar ist“, erklärt Cheng Zhang, Assistenzprofessor an der Cornell University: „Wir werden Sonar in den menschlichen Körper bringen.“

Die Forscher erklären, dass dieses System nur wenige Minuten Übung erfordert – etwa das Lesen einer Zahlenreihe –, um die Sprachmuster des Benutzers zu erlernen. Danach sind die Gläser fertig. Sie senden und empfangen Schallwellen auf Ihrem Gesicht, indem sie die Bewegungen Ihres Mundes erkennen und mithilfe eines Deep-Learning-Algorithmus Echoprofile in Echtzeit „mit einer Genauigkeit von etwa 95 %“ analysieren.

Dies erreicht das System, indem es die Datenverarbeitung drahtlos an Ihr Smartphone delegiert, sodass die Brille sehr diskret bleibt. Die aktuelle Version bietet etwa 10 Stunden Akkulaufzeit für die akustische Erkennung. Darüber hinaus verlassen keine Daten Ihr Telefon. „Wir sind von diesem System begeistert, weil es gleichzeitig leistungsstark ist und die Privatsphäre respektiert“, sagte Cheng Zhang. „Es ist klein, stromsparend und respektiert die Privatsphäre. Alle Aspekte sind neben dem Verhalten in der realen Welt sehr wichtig für den Einsatz neuer Technologien.“

Intelligente und vielversprechende Idee EchoSpeech

Privatsphäre ist für den realen Gebrauch sehr wichtig. Ruidong Zhang schlägt beispielsweise vor, diese Brille zu verwenden, um Musik (ohne Hände und Augen) in einer Bibliothek zu steuern oder um während eines lauten Konzerts eine Nachricht zu diktieren, wo andere Methoden nicht funktionieren würden. Aber das interessanteste Szenario wäre vielleicht, Menschen mit Sprachbehinderungen einen Dialog mit einem Sprachsynthesizer zu ermöglichen, damit sie gehört werden können.

Wenn alles gut geht, sollten diese Punkte verkauft werden. Ein Team im Smart Computer Interfaces for Future Interactions (SciFi) Lab von Cornell untersucht die Möglichkeit, diese Technologie über das Förderprogramm von Cornell auf den Markt zu bringen. Sie interessieren sich auch für vernetzte Brillen-Apps, mit denen sich Bewegungen des Gesichts, der Augen und sogar des Oberkörpers verfolgen lassen. „Wir glauben, dass Brillen eine wichtige Personal-Computing-Plattform für das Verständnis menschlicher Aktivitäten im täglichen Leben werden werden“, sagte Cheng Zhang.