Jauns balss AI rīks jau tiek izmantots slavenību balsu viltošanai

AI balss klonēšanas rīks ElevenLabs ir iepriekš ļaunprātīgi izmantots. Tagad uzņēmums domā, kā novērst šos pārkāpumus.

Pirms dažām dienām mākslīgā intelekta starta uzņēmums ElevenLabs laida klajā savas platformas beta versiju, kas ļauj lietotājiem izveidot pavisam jaunas sintētiskas balsis teksta pārveidošanai runā vai klonēt kādas personas balsi. Diemžēl bija nepieciešamas tikai dažas dienas, līdz internets sāka ļaunprātīgi izmantot šo rīku . Uzņēmums tviterī paziņoja, ka redz “arvien vairāk balss klonēšanas ļaunprātīgas izmantošanas gadījumu” un apsver veidus, kā risināt šo problēmu, “īstenojot papildu drošības pasākumus”.

AI balss klonēšanas rīks ElevenLabs jau tiek ļaunprātīgi izmantots

Lai gan ElevenLabs nenorādīja, kas ir domāts ar vārdu “ļaunprātīgas izmantošanas gadījums”, MotherBoard vietnē 4chan atrada ierakstus ar audio klipiem, kuros tika ģenerētas balsis, kas ļoti līdzinās slavenību balsīm, kas lasa vai saka kaut ko ļoti strīdīgu. Vienam no viņiem, piemēram, ir līdzīga balss kā Emmai Vatsonei, kas lasa fragmentu no Mein Kampf. Lietotāji arī publicēja videoklipus ar homofobiskiem, transfobiskiem, vardarbīgiem vai rasistiskiem komentāriem. Neviens nezina, vai visos šajos klipos patiešām tiek izmantota ElevenLabs tehnoloģija, taču ierakstā ar lielu audio failu kolekciju vietnē 4chan bija iekļauta saite uz starta platformu.

Šis audio “deepfake” izskats, iespējams, nav pārsteigums, jo pirms dažiem gadiem mums gadījās novērot šādu parādību. Mākslīgā intelekta un mašīnmācīšanās attīstība ir izraisījusi dziļu viltotu video, jo īpaši dziļi viltotas pornogrāfijas, skaita pieaugumu, mainot esošo porno saturu, lai parādītu slavenību sejas. Un jā, daži pat ir izmantojuši Emmas Vatsones seju šādos videoklipos.

Tagad uzņēmums domā, kā novērst šos pārkāpumus.

ElevenLabs pašlaik apkopo atsauksmes no lietotājiem un profesionāļiem par to, kā novērst lietotāju ļaunprātīgu šīs tehnoloģijas izmantošanu. Pašlaik tiek runāts par papildu konta verifikācijas līmeņu pievienošanu, lai iespējotu balss klonēšanu, piemēram, par obligātu maksājuma veida vai ID ievadīšanu. Uzņēmums arī apsver iespēju pārbaudīt autortiesības uz balsi, kuru lietotājs vēlas klonēt, piemēram, nosūtot paraugu ar nolasīto tekstu. Visbeidzot, starta uzņēmums apsver iespēju izņemt savu Voice Lab rīku no tirgus un risināt tikai tos vaicājumus, kurus tas varētu pārbaudīt manuāli. Turpinājums sekos!

Traka nedēļas nogale – paldies visiem, kas izmēģināja mūsu beta platformu. Lai gan mēs redzam, ka mūsu tehnoloģijas tiek plaši izmantotas, mēs novērojam arī balss klonēšanas ļaunprātīgas izmantošanas pieaugumu. Mēs vēlamies sazināties ar Twitter kopienu, lai saņemtu domas un atsauksmes!

— ElevenLabs (@elevenlabsio) 2023. gada 30. janvāris