Ein neues Sprach-KI-Tool wird bereits verwendet, um die Stimmen von Prominenten zu fälschen

Das KI-Tool zum Klonen von Stimmen, ElevenLabs, wurde schon früher missbraucht. Nun denkt das Unternehmen darüber nach, wie diese Missbräuche verhindert werden können.

Vor ein paar Tagen hat das KI-Startup ElevenLabs eine Beta-Version seiner Plattform gestartet, die es Benutzern ermöglicht, brandneue synthetische Stimmen für Text-to-Speech zu erstellen oder die Stimme einer anderen Person zu klonen. Leider dauerte es nur wenige Tage, bis das Internet begann, dieses Tool in böswilliger Absicht zu nutzen . Das Unternehmen twitterte, dass es „eine wachsende Zahl von Missbrauchsfällen beim Klonen von Stimmen“ sehe und über Möglichkeiten nachdenke, das Problem durch „die Implementierung zusätzlicher Sicherheitsmaßnahmen“ anzugehen.

Das KI-Tool ElevenLabs zum Klonen von Stimmen wird bereits missbraucht

Obwohl ElevenLabs nicht spezifizierte, was mit „Missbrauchsfall“ gemeint war, fand MotherBoard auf 4chan Beiträge mit Audioclips, in denen Stimmen erzeugt wurden, die sehr nach den Stimmen von Prominenten klangen, die etwas sehr Kontroverses lasen oder sagten. Einer von ihnen hat zum Beispiel eine ähnliche Stimme wie Emma Watson, die einen Auszug aus „Mein Kampf“ liest. Nutzer posteten auch Videos mit homophoben, transphoben, gewalttätigen oder rassistischen Kommentaren. Niemand weiß, ob alle diese Clips wirklich die Technologie von ElevenLabs nutzen, aber ein Beitrag mit einer großen Sammlung von Audiodateien auf 4chan enthielt einen Link zur Plattform des Startups.

Dieses Auftauchen eines Audio-„Deepfakes“ ist vielleicht keine Überraschung, da wir vor einigen Jahren zufällig ein solches Phänomen beobachtet haben. Fortschritte in der künstlichen Intelligenz und im maschinellen Lernen haben zu einer Zunahme von Deepfake-Videos, insbesondere Deepfake-Pornografie, geführt, wobei vorhandene Pornoinhalte so verändert wurden, dass sie Gesichter von Prominenten zeigen. Und ja, einige haben in solchen Videos sogar Emma Watsons Gesicht verwendet.

Nun denkt das Unternehmen darüber nach, wie diese Missbräuche verhindert werden können.

ElevenLabs sammelt derzeit Feedback von Benutzern und Fachleuten dazu, wie verhindert werden kann, dass Benutzer diese Technologie missbrauchen. Derzeit wird darüber gesprochen, zusätzliche Ebenen der Kontoverifizierung hinzuzufügen, um das Klonen von Stimmen zu ermöglichen, beispielsweise die Pflicht zur Eingabe einer Zahlungsmethode oder eines Ausweises. Das Unternehmen erwägt auch, das Urheberrecht der Stimme zu überprüfen, die der Benutzer klonen möchte, indem er beispielsweise eine Probe mit dem vorgelesenen Text sendet. Schließlich erwägt das Startup, sein Tool Voice Lab vom Markt zu nehmen und nur noch Anfragen zu bearbeiten, die es manuell prüfen könnte. Fortgesetzt werden!

Verrücktes Wochenende – vielen Dank an alle, die unsere Beta-Plattform ausprobiert haben. Während unsere Technologie überwiegend sinnvoll genutzt wird, beobachten wir auch eine Zunahme des Missbrauchs des Stimmklonens. Wir möchten die Twitter-Community um Gedanken und Feedback bitten!

– ElevenLabs (@elevenlabsio) 30. Januar 2023