OpenAI визнає, що детектори запису ШІ не працюють

У розділі поширених запитань під назвою «Чи працюють детектори ШІ?» OpenAI пише : «Коротше кажучи, ні. Хоча деякі (включно з OpenAI) випустили інструменти, які нібито виявляють контент, створений штучним інтелектом, жоден із них не зміг надійно розрізнити контент, створений штучним інтелектом, від створеного людьми».

У липні ми детально розповіли про те, чому не працюють детектори запису штучного інтелекту, такі як GPTZero, і експерти називають їх «здебільшого зміїною олією». Ці детектори часто дають хибні спрацьовування, оскільки покладаються на неперевірені показники виявлення. Зрештою, у тексті, написаному штучним інтелектом, немає нічого особливого, що завжди відрізняло б його від написаного людиною, і детектори можуть бути переможені перефразуванням. Того ж місяця OpenAI припинив випуск свого AI Classifier, який був експериментальним інструментом, призначеним для виявлення тексту, написаного штучним інтелектом. Його точність склала жахливі 26 відсотків.

Нові поширені запитання OpenAI також усувають іншу велику помилку, яка полягає в тому, що ChatGPT сам може знати, чи написаний текст штучним інтелектом чи ні. OpenAI пише: «Крім того, ChatGPT не має «знань» про те, який контент може бути створений ШІ. Інколи він складатиме відповіді на запитання на кшталт «чи написав ти це [твір]?» або «чи міг це написати ШІ?» Ці відповіді є випадковими і не мають жодної фактичної основи».

Відповідно до цього, OpenAI також бореться зі схильністю своїх моделей штучного інтелекту створювати неправдиву інформацію, про що ми також детально розповідали в Ars. «Іноді ChatGPT звучить переконливо, але він може надати вам неправильну або оманливу інформацію (у літературі це часто називають «галюцинацією»)», — пише компанія. «Він навіть може складати такі речі, як цитати чи цитати, тому не використовуйте його як єдине джерело для досліджень».

(У травні юрист потрапив у біду саме через це — посилаючись на шість неіснуючих справ, які він вилучив із ChatGPT.)

Незважаючи на те, що автоматизовані детектори штучного інтелекту не працюють, це не означає, що людина ніколи не зможе виявити написання ШІ. Наприклад, учитель, знайомий із типовим стилем письма учня, може зрозуміти, коли його стиль або здібності раптово змінюються. Крім того, деякі неохайні спроби видати роботу, створену штучним інтелектом, за написану людиною, можуть залишити сигнальні ознаки, наприклад фразу « як мовну модель штучного інтелекту », що означає, що хтось скопіював і вставив вихід ChatGPT без обережності. А нещодавно стаття в науковому журналі Nature показала, як люди помітили фразу «Regenerate response» у науковій статті, яка є міткою кнопки в ChatGPT.

У сучасному стані технології найбезпечніше повністю уникати автоматизованих інструментів виявлення штучного інтелекту. «На даний момент штучний інтелект неможливо виявити і, ймовірно, так і залишиться», — сказав постійний аналітик штучного інтелекту та професор Вартона Ітан Моллік Ars у липні. «Детектори штучного інтелекту мають високий рівень помилкових спрацьовувань, тому їх не слід використовувати».