Ke falšování hlasů celebrit se již používá nový nástroj hlasové umělé inteligence

Nástroj pro klonování hlasu AI ElevenLabs byl zneužit již dříve. Nyní společnost přemýšlí, jak těmto zneužitím zabránit.

Před pár dny spustil AI startup ElevenLabs beta verzi své platformy, která uživatelům umožňuje vytvářet zcela nové syntetické hlasy pro převod textu na řeč nebo klonovat něčí hlas. Bohužel trvalo jen několik dní, než Internet začal tento nástroj zlomyslně používat . Společnost tweetovala, že zaznamenává „rostoucí počet případů zneužití hlasového klonování“ a zvažuje způsoby, jak problém vyřešit „zavedením dalších bezpečnostních opatření“.

Nástroj pro klonování hlasu AI ElevenLabs je již zneužíván

Ačkoli ElevenLabs nespecifikovalo, co se myslí „případem zneužití“, MotherBoard našel na 4chan příspěvky se zvukovými klipy, ve kterých byly generovány hlasy, které zněly velmi podobně jako hlasy celebrit, které čtou nebo říkají něco velmi kontroverzního. Jedna z nich má například hlas podobný hlasu Emmy Watsonové, která čte úryvek z Mein Kampf. Uživatelé také zveřejňovali videa s homofobními, transfobními, násilnými nebo rasistickými komentáři. Nikdo neví, zda všechny tyto klipy skutečně využívají technologii ElevenLabs, ale příspěvek s velkou sbírkou zvukových souborů na 4chan obsahoval odkaz na platformu startupu.

Tento vzhled audio „deepfake“ možná není překvapením, ostatně pokud jsme před pár lety náhodou takový jev pozorovali. Pokroky v oblasti umělé inteligence a strojového učení vedly k nárůstu hluboce falešných videí, zejména hluboce falešné pornografie, přičemž stávající porno obsah byl upraven tak, aby zobrazoval tváře celebrit. A ano, někteří dokonce použili tvář Emmy Watsonové ve videích, jako je toto.

Nyní společnost přemýšlí, jak těmto zneužitím zabránit.

ElevenLabs v současné době shromažďuje zpětnou vazbu od uživatelů a profesionálů, jak zabránit uživatelům ve zneužití této technologie. Aktuálně se hovoří o přidání dalších úrovní ověření účtu, které umožní hlasové klonování, jako je například povinné zadání platební metody nebo ID. Společnost také zvažuje kontrolu autorských práv hlasu, který chce uživatel naklonovat, například zasláním ukázky s přečteným textem. Startup nakonec zvažuje stažení svého nástroje Voice Lab z trhu a bude se zabývat pouze dotazy, které by mohl kontrolovat ručně. Pokračování příště!

Bláznivý víkend – děkujeme všem, kteří vyzkoušeli naši beta platformu. Zatímco jsme svědky toho, že naše technologie je v drtivé většině dobře využívána, zaznamenáváme také nárůst zneužívání klonování hlasu. Chceme oslovit komunitu na Twitteru a požádat o nápady a zpětnou vazbu!

— ElevenLabs (@elevenlabsio) 30. ledna 2023