Un nouvel outil d’IA vocale est déjà utilisé pour usurper les voix des célébrités

L’outil de clonage de voix AI ElevenLabs a déjà été abusé. Aujourd’hui, l’entreprise réfléchit à la manière de prévenir ces abus.

Il y a quelques jours, la startup AI ElevenLabs a lancé une version bêta de sa plateforme qui permet aux utilisateurs de créer de toutes nouvelles voix synthétiques pour la synthèse vocale ou de cloner la voix de quelqu’un. Malheureusement, il n’a fallu que quelques jours à Internet pour commencer à utiliser cet outil de manière malveillante . La société a tweeté qu’elle voyait « un nombre croissant de cas d’abus de clonage de voix » et envisage des moyens de résoudre le problème en « implémentant des mesures de sécurité supplémentaires ».

L’outil de clonage de voix AI ElevenLabs est déjà abusé

Bien qu’ElevenLabs n’ait pas précisé ce que l’on entendait par « cas d’abus », MotherBoard a trouvé des messages sur 4chan avec des clips audio dans lesquels des voix ont été générées qui ressemblaient beaucoup à des voix de célébrités lisant ou disant quelque chose de très controversé. L’une d’elles, par exemple, a une voix similaire à celle d’Emma Watson lisant un extrait de Mein Kampf. Les utilisateurs ont également posté des vidéos avec des commentaires homophobes, transphobes, violents ou racistes. Personne ne sait si tous ces clips utilisent vraiment la technologie ElevenLabs, mais un post avec une grande collection de fichiers audio sur 4chan comprenait un lien vers la plateforme de la startup.

Cette apparition d’un « deepfake » audio n’est peut-être pas une surprise, après tout, dans la mesure où il y a quelques années, il nous est arrivé d’observer un tel phénomène. Les progrès de l’intelligence artificielle et de l’apprentissage automatique ont entraîné une augmentation des vidéos deepfake, en particulier de la pornographie deepfake, avec le contenu porno existant modifié pour montrer des visages de célébrités. Et oui, certains ont même utilisé le visage d’Emma Watson dans des vidéos comme celle-ci.

Aujourd’hui, l’entreprise réfléchit à la manière de prévenir ces abus.

ElevenLabs recueille actuellement les commentaires des utilisateurs et des professionnels sur la manière d’empêcher les utilisateurs d’utiliser cette technologie à mauvais escient. Il est actuellement question d’ajouter des niveaux supplémentaires de vérification de compte pour permettre le clonage vocal, comme rendre obligatoire la saisie d’un mode de paiement ou d’un identifiant. L’entreprise envisage également de vérifier les droits d’auteur de la voix que l’utilisateur souhaite cloner, par exemple en envoyant un échantillon avec le texte lu. Enfin, la startup envisage de retirer du marché son outil Voice Lab et de ne traiter que les requêtes qu’elle pourrait vérifier manuellement. À suivre!

Week-end fou – merci à tous ceux qui ont essayé notre plateforme bêta. Alors que nous voyons notre technologie largement utilisée à bon escient, nous constatons également une augmentation de l’utilisation abusive du clonage de la voix. Nous voulons tendre la main à la communauté Twitter pour des réflexions et des commentaires !

– ElevenLabs (@elevenlabsio) 30 janvier 2023