Kuulsuste häälte petmiseks kasutatakse juba uut hääl-AI tööriista

AI hääle kloonimise tööriista ElevenLabs on varem kuritarvitatud. Nüüd mõtleb ettevõte, kuidas neid kuritarvitamisi ära hoida.

Paar päeva tagasi tõi AI idufirma ElevenLabs turule oma platvormi beetaversiooni, mis võimaldab kasutajatel luua täiesti uusi sünteetilisi hääli teksti kõneks muutmiseks või kellegi hääle kloonimiseks. Kahjuks kulus vaid paar päeva, enne kui Internet hakkas seda tööriista pahatahtlikult kasutama . Ettevõte säutsus, et näeb “kasvava arvu häälkloonimise kuritarvitamise juhtumeid” ja kaalub võimalusi selle probleemi lahendamiseks “täiendavate turvameetmete rakendamisega”.

AI hääle kloonimise tööriista ElevenLabs on juba kuritarvitatud

Ehkki ElevenLabs ei täpsustanud, mida tähendab “kuritarvitamise juhtum”, leidis MotherBoard 4chanist postitusi heliklippidega, milles genereeriti hääli, mis sarnanesid kuulsuste häältega, mis loevad või ütlevad midagi väga vastuolulist. Ühel neist on näiteks Mein Kampfi katkendit lugeva Emma Watsoni hääl. Kasutajad postitasid ka homofoobsete, transfoobsete, vägivaldsete või rassistlike kommentaaridega videoid. Keegi ei tea, kas kõik need klipid tõesti kasutavad ElevenLabsi tehnoloogiat, kuid 4chani suure helifailide koguga postitus sisaldas linki käivitusettevõtte platvormile.

See heli “deepfake” ilmumine ei ole võib-olla üllatus, kuivõrd mõni aasta tagasi juhtusime sellist nähtust jälgima. Tehisintellekti ja masinõppe edusammud on toonud kaasa sügava võltsitud videote, eriti sügavvõltspornograafia, arvu suurenemise, kusjuures olemasolevat pornosisu on muudetud kuulsuste nägude näitamiseks. Ja jah, mõned on sellistes videotes isegi Emma Watsoni nägu kasutanud.

Nüüd mõtleb ettevõte, kuidas neid kuritarvitamisi ära hoida.

ElevenLabs kogub praegu kasutajatelt ja spetsialistidelt tagasisidet selle kohta, kuidas vältida kasutajate selle tehnoloogia kuritarvitamist. Praegu räägitakse täiendavate konto kinnitamise tasemete lisamisest hääle kloonimise võimaldamiseks, näiteks makseviisi või ID sisestamise kohustuslikuks muutmisest. Ettevõte kaalub ka selle hääle autoriõiguste kontrollimist, mida kasutaja soovib kloonida, näiteks saates näidise koos loetud tekstiga. Lõpuks kaalub startup oma Voice Labi tööriista turult eemaldamist ja tegeleb ainult päringutega, mida saaks käsitsi kontrollida. Jätkub!

Pöörane nädalavahetus – aitäh kõigile, kes meie beetaplatvormi proovisid. Kuigi me näeme, et meie tehnoloogiat kasutatakse valdavalt hästi, näeme ka häälkloonimise väärkasutamist. Soovime mõtete ja tagasiside saamiseks Twitteri kogukonnaga ühendust võtta!

— ElevenLabs (@elevenlabsio) 30. jaanuar 2023