Naujas balso AI įrankis jau naudojamas įžymybių balsams apgaudinėti

AI balso klonavimo įrankiu „ElevenLabs“ buvo piktnaudžiaujama ir anksčiau. Dabar įmonė galvoja, kaip išvengti šių piktnaudžiavimų.

Prieš kelias dienas AI startuolis „ElevenLabs“ išleido savo platformos beta versiją, leidžiančią vartotojams sukurti visiškai naujus sintetinius balsus, skirtus tekstui paversti kalba arba klonuoti kažkieno balsą. Deja, prireikė vos kelių dienų, kol internetas pradėjo piktybiškai naudoti šį įrankį . Bendrovė tviteryje paskelbė, kad pastebi „daugėja piktnaudžiavimo balso klonavimu atvejų“ ir svarsto būdus, kaip išspręsti šią problemą „įdiegdama papildomas saugumo priemones“.

AI balso klonavimo įrankiu ElevenLabs jau piktnaudžiaujama

Nors „ElevenLabs“ nenurodė, ką reiškia „piktnaudžiavimo atvejis“, „MotherBoard“ rado 4chan įrašų su garso klipais, kuriuose buvo generuojami balsai, kurie skambėjo panašiai kaip įžymybių balsai, skaitantys arba sakantys ką nors labai prieštaringo. Pavyzdžiui, vieno iš jų balsas panašus į Emmos Watson, skaitančios ištrauką iš „Mein Kampf“, balsą. Vartotojai taip pat paskelbė vaizdo įrašus su homofobiniais, transfobiniais, smurtiniais ar rasistiniais komentarais. Niekas nežino, ar visuose šiuose klipuose tikrai naudojama „ElevenLabs“ technologija, tačiau įraše su didele garso failų kolekcija „4chan“ buvo nuoroda į startuolio platformą.

Toks garso „deepfake“ pasirodymas gal ir nenuostabu, juk tiek, kiek prieš keletą metų teko stebėti tokį reiškinį. Dėl dirbtinio intelekto ir mašininio mokymosi pažangos padaugėjo netikrų vaizdo įrašų, ypač pornografijos, o esamas pornografinis turinys buvo pakeistas, kad būtų rodomi įžymybių veidai. Ir taip, kai kurie netgi panaudojo Emmos Watson veidą tokiuose vaizdo įrašuose.

Dabar įmonė galvoja, kaip išvengti šių piktnaudžiavimų.

„ElevenLabs“ šiuo metu renka vartotojų ir specialistų atsiliepimus, kaip užkirsti kelią vartotojams netinkamai naudotis šia technologija. Šiuo metu kalbama apie papildomų paskyros patvirtinimo lygių įtraukimą, kad būtų galima klonuoti balsą, pvz., privaloma įvesti mokėjimo metodą arba ID. Bendrovė taip pat svarsto galimybę patikrinti balso, kurį vartotojas nori klonuoti, autorių teises, pavyzdžiui, atsiųsdamas pavyzdį su perskaitytu tekstu. Galiausiai, startuolis svarsto galimybę pašalinti iš rinkos „Voice Lab“ įrankį ir susidoroti tik su užklausomis, kurias galėtų patikrinti rankiniu būdu. Tęsinys!

Pašėlęs savaitgalis – ačiū visiems, kurie išbandė mūsų beta platformą. Nors matome, kad mūsų technologijos yra plačiai naudojamos tinkamai, taip pat pastebime, kad daugėja piktnaudžiavimo balso klonavimu. Norime susisiekti su „Twitter“ bendruomene dėl minčių ir atsiliepimų!

— „ElevenLabs“ (@elevenlabsio) 2023 m. sausio 30 d