Новий інструмент голосового штучного інтелекту вже використовується для підробки голосів знаменитостей

Інструмент клонування голосу штучного інтелекту ElevenLabs раніше зазнавав зловживань. Зараз компанія думає, як запобігти цим зловживанням.

Кілька днів тому стартап зі штучним інтелектом ElevenLabs запустив бета-версію своєї платформи, яка дозволяє користувачам створювати абсолютно нові синтетичні голоси для перетворення тексту в мову або клонувати чийсь голос. На жаль, знадобилося лише кілька днів, щоб Інтернет почав використовувати цей інструмент зловмисно . Компанія повідомила у Twitter, що спостерігає «зростаючу кількість випадків зловживання клонуванням голосу» і розглядає шляхи вирішення проблеми шляхом «запровадження додаткових заходів безпеки».

Інструментом штучного інтелекту для клонування голосу ElevenLabs вже зловживають

Хоча ElevenLabs не уточнює, що мається на увазі під «випадком зловживань», MotherBoard знайшов на 4chan дописи з аудіозаписами, у яких генерувалися голоси, які дуже нагадували голоси знаменитостей, які читали або говорили щось дуже суперечливе. Один із них, наприклад, має голос, схожий на голос Емми Вотсон, яка читає уривок із «Майн Кампф». Користувачі також публікували відео з гомофобними, трансфобними, жорстокими чи расистськими коментарями. Ніхто не знає, чи всі ці кліпи дійсно використовують технологію ElevenLabs, але публікація з великою колекцією аудіофайлів на 4chan містить посилання на платформу стартапу.

Така поява аудіо «діпфейку», можливо, не є несподіванкою, адже кілька років тому нам довелося спостерігати таке явище. Удосконалення штучного інтелекту та машинного навчання призвели до збільшення кількості глибокофейкових відео, зокрема глибокої фейкової порнографії, з наявним порноконтентом, зміненим, щоб показати обличчя знаменитостей. І так, деякі навіть використовували обличчя Емми Вотсон у таких відео.

Зараз компанія думає, як запобігти цим зловживанням.

Зараз ElevenLabs збирає відгуки від користувачів і професіоналів про те, як запобігти неправильному використанню цією технологією. Наразі ведуться розмови про додавання додаткових рівнів перевірки облікового запису, щоб увімкнути клонування голосу, наприклад, зробити обов’язковим введення методу оплати або ідентифікатора. Компанія також розглядає можливість перевірки авторських прав на голос, який користувач хоче клонувати, наприклад, надіславши зразок із прочитаним текстом. Нарешті, стартап розглядає можливість вилучення свого інструменту Voice Lab з ринку та роботи лише з запитами, які він міг перевіряти вручну. Далі буде!

Шалені вихідні – дякуємо всім, хто спробував нашу бета-платформу. Хоча ми бачимо, що наша технологія широко використовується з користю, ми також бачимо збільшення зловживань клонуванням голосу. Ми хочемо зв’язатися зі спільнотою Twitter, щоб отримати думки та відгуки!

— ElevenLabs (@elevenlabsio) 30 січня 2023 р