Uutta ääniälytyökalua käytetään jo julkkisten äänten huijaamiseen

AI-äänen kloonaustyökalua ElevenLabsia on käytetty väärin aiemmin. Nyt yhtiö pohtii, miten nämä väärinkäytökset voidaan estää.

Muutama päivä sitten tekoälyn startup ElevenLabs julkaisi alustastaan ​​beta-version, jonka avulla käyttäjät voivat luoda upouusia synteettisiä ääniä tekstistä puheeksi tai kloonata jonkun äänen. Valitettavasti kesti vain muutaman päivän, ennen kuin Internet alkoi käyttää tätä työkalua haitallisesti . Yhtiö twiittasi, että se näkee ”kasvava määrä äänen kloonauksen väärinkäyttötapauksia” ja harkitsee tapoja ratkaista ongelma ”ottamalla käyttöön lisäturvatoimia”.

AI-äänen kloonaustyökalua ElevenLabsia käytetään jo väärin

Vaikka ElevenLabs ei täsmentänyt, mitä ”väärinkäyttötapauksella” tarkoitetaan, MotherBoard löysi 4chanista viestejä, joissa oli äänileikkeitä, joissa tuotettiin ääniä, jotka kuulostivat hyvin paljon julkkisten ääniltä, ​​jotka lukivat tai sanoivat jotain hyvin kiistanalaista. Esimerkiksi yhdellä heistä on samanlainen ääni kuin Emma Watsonilla, joka lukee otteen Mein Kampfista. Käyttäjät julkaisivat myös videoita, joissa oli homofobisia, transfobisia, väkivaltaisia ​​tai rasistisia kommentteja. Kukaan ei tiedä, käyttävätkö kaikki nämä leikkeet todella ElevenLabs-tekniikkaa, mutta julkaisussa, jossa oli suuri kokoelma äänitiedostoja 4chanissa, sisältyi linkki käynnistyksen alustalle.

Tämä ääni ”deepfaken” ilmaantuminen ei ehkä ole yllätys, kunhan muutama vuosi sitten sattui havaitsemaan tällainen ilmiö. Tekoälyn ja koneoppimisen edistyminen on johtanut syväfake-videoiden, erityisesti syväfakepornografian, lisääntymiseen, ja olemassa olevaa pornosisältöä on muutettu näyttämään julkkisten kasvoja. Ja kyllä, jotkut ovat jopa käyttäneet Emma Watsonin kasvoja tällaisissa videoissa.

Nyt yhtiö pohtii, miten nämä väärinkäytökset voidaan estää.

ElevenLabs kerää parhaillaan palautetta käyttäjiltä ja ammattilaisilta siitä, miten estetään käyttäjiä käyttämästä väärin tätä tekniikkaa. Tällä hetkellä puhutaan tilin vahvistustasojen lisäämisestä äänen kloonauksen mahdollistamiseksi, kuten maksutavan tai tunnuksen syöttämisen pakolliseksi tekemisestä. Yhtiö harkitsee myös käyttäjän kloonattavan äänen tekijänoikeuksien tarkistamista esimerkiksi lähettämällä näyte luetulla tekstillä. Lopuksi startup harkitsee Voice Lab -työkalunsa poistamista markkinoilta ja käsittelee vain kyselyitä, jotka se voisi tarkistaa manuaalisesti. Jatkuu!

Hullu viikonloppu – kiitos kaikille, jotka kokeilivat beta-alustaamme. Vaikka näemme, että teknologiaamme hyödynnetään ylivoimaisesti, näemme myös äänen kloonauksen väärinkäytön lisääntyvän. Haluamme ottaa yhteyttä Twitter-yhteisöön saadaksesi ajatuksia ja palautetta!

— ElevenLabs (@elevenlabsio) 30. tammikuuta 2023