В разделе FAQ под названием «Работают ли ИИ-детекторы?» OpenAI пишет : «Короче говоря, нет. Хотя некоторые (включая OpenAI) выпустили инструменты, предназначенные для обнаружения контента, созданного ИИ, ни один из них не доказал, что надежно различает контент, созданный ИИ и человеком».
В июле мы подробно рассмотрели, почему не работают детекторы записи ИИ, такие как GPTZero, причем эксперты называют их «в основном змеиным маслом». Эти детекторы часто дают ложные срабатывания из-за того, что полагаются на недоказанные показатели обнаружения. В конечном счете, в тексте, написанном ИИ, нет ничего особенного, что всегда отличало бы его от написанного человеком, и детекторы можно победить путем перефразирования. В том же месяце OpenAI прекратила выпуск своего AI Classifier, экспериментального инструмента, предназначенного для обнаружения текста, написанного искусственным интеллектом. Его точность составляла ужасающие 26 процентов.
Новый FAQ OpenAI также устраняет еще одно большое заблуждение: ChatGPT сам может знать, написан ли текст искусственным интеллектом или нет. OpenAI пишет: «Кроме того, ChatGPT не имеет «знаний» о том, какой контент может быть создан с помощью ИИ. Иногда это ответы на вопросы типа «Вы написали это [эссе]?» или «могло ли это написать ИИ?» Эти ответы случайны и не имеют под собой никакой основы».
В том же духе OpenAI также борется со склонностью своих моделей ИИ выдумывать ложную информацию, о чем мы также подробно рассказывали на Ars. «Иногда ChatGPT звучит убедительно, но может дать вам неверную или вводящую в заблуждение информацию (в литературе часто называемую «галлюцинацией»)», — пишут в компании. «Он может даже содержать такие вещи, как цитаты или цитаты, поэтому не используйте его как единственный источник для исследований».
(В мае у адвоката возникли проблемы из -за этого — он сослался на шесть несуществующих дел, которые он извлек из ChatGPT.)
Хотя автоматические детекторы ИИ не работают, это не означает, что человек никогда не сможет обнаружить письмо ИИ. Например, учитель, знакомый с типичным стилем письма ученика, может определить, когда его стиль или способности внезапно меняются. Кроме того, некоторые небрежные попытки выдать работу, созданную искусственным интеллектом, за написанную человеком, могут оставить контрольные знаки, такие как фраза «как модель языка искусственного интеллекта », которая означает, что кто-то скопировал и вставил выходные данные ChatGPT, не соблюдая осторожности. А недавно статья в научном журнале Nature показала, как люди заметили в научной статье фразу «Регенерировать ответ», которая является надписью кнопки в ChatGPT.
При нынешнем состоянии технологий безопаснее всего полностью избегать автоматизированных инструментов обнаружения ИИ. «На данный момент ИИ-письмо невозможно обнаружить и, скорее всего, так и останется», — сказал Ars в июле частый аналитик ИИ и профессор Уортона Итан Моллик. «Детекторы искусственного интеллекта имеют высокий уровень ложных срабатываний, поэтому их не следует использовать».