Ett nytt verktyg för röst-AI används redan för att förfalska kändisröster

AI-röstkloningsverktyg ElevenLabs har missbrukats tidigare. Nu funderar företaget på hur man ska förhindra dessa övergrepp.

För några dagar sedan lanserade AI-startup ElevenLabs en betaversion av sin plattform som låter användare skapa helt nya syntetiska röster för text-till-tal eller klona någons röst. Tyvärr tog det bara några dagar för Internet att börja använda det här verktyget med uppsåt . Företaget twittrade att det ser ”ett växande antal fall av missbruk av röstkloning” och överväger sätt att ta itu med problemet genom att ”implementera ytterligare säkerhetsåtgärder.”

AI-röstkloningsverktyget ElevenLabs missbrukas redan

Även om ElevenLabs inte specificerade vad som menades med ”fall av missbruk”, hittade Motherboard inlägg på 4chan med ljudklipp där röster genererades som lät väldigt mycket som kändisröster som läser eller säger något mycket kontroversiellt. En av dem har till exempel en röst som liknar Emma Watson som läser ett utdrag ur Mein Kampf. Användare lade också upp videor med homofobiska, transfobiska, våldsamma eller rasistiska kommentarer. Ingen vet om alla dessa klipp verkligen använder ElevenLabs-teknik, men ett inlägg med en stor samling ljudfiler på 4chan innehöll en länk till startupens plattform.

Det här utseendet på ett ljud ”deepfake” är kanske inte en överraskning, trots allt, eftersom vi för några år sedan råkade observera ett sådant fenomen. Framsteg inom artificiell intelligens och maskininlärning har lett till en ökning av deepfake-videor, särskilt deepfake-pornografi, med befintligt porrinnehåll ändrat för att visa kändisansikten. Och ja, vissa har till och med använt Emma Watsons ansikte i videor som denna.

Nu funderar företaget på hur man ska förhindra dessa övergrepp.

ElevenLabs samlar för närvarande in feedback från användare och proffs om hur man förhindrar användare från att missbruka denna teknik. Det talas för närvarande om att lägga till ytterligare nivåer av kontoverifiering för att möjliggöra röstkloning, som att göra det obligatoriskt att ange en betalningsmetod eller ID. Företaget överväger också att kontrollera upphovsrätten till rösten användaren vill klona, ​​till exempel genom att skicka ett prov med texten uppläst. Slutligen överväger startupen att dra tillbaka sitt Voice Lab-verktyg från marknaden och bara hantera frågor som den kan kontrollera manuellt. Fortsättning följer!

Galen helg – tack till alla som provat vår betaplattform. Samtidigt som vi ser att vår teknik i överväldigande utsträckning används, ser vi också en ökning av missbruket av röstkloning. Vi vill nå ut till Twitter-communityt för tankar och feedback!

— ElevenLabs (@elevenlabsio) 30 januari 2023