OpenAI admite que detectores de escrita de IA não funcionam

Em uma seção do FAQ intitulada “Os detectores de IA funcionam?”, a OpenAI escreve : “Resumindo, não. Embora alguns (incluindo OpenAI) tenham lançado ferramentas que pretendem detectar conteúdo gerado por IA, nenhuma delas provou distinguir de forma confiável entre conteúdo gerado por IA e conteúdo gerado por humanos.”

Em julho, abordamos detalhadamente por que detectores de escrita de IA, como o GPTZero, não funcionam, com especialistas chamando-os de “principalmente óleo de cobra”. Esses detectores geralmente produzem falsos positivos devido à dependência de métricas de detecção não comprovadas. Em última análise, não há nada de especial no texto escrito por IA que sempre o distinga do escrito por humanos, e os detectores podem ser derrotados pela reformulação da frase. Naquele mesmo mês, a OpenAI descontinuou seu AI Classifier, que era uma ferramenta experimental projetada para detectar texto escrito por IA. Ele tinha uma taxa de precisão péssima de 26%.

O novo FAQ da OpenAI também aborda outro grande equívoco, que é que o próprio ChatGPT pode saber se o texto foi escrito por IA ou não. OpenAI escreve: “Além disso, ChatGPT não tem ‘conhecimento’ de qual conteúdo pode ser gerado por IA. Às vezes, serão compostas respostas a perguntas como ‘você escreveu este [ensaio]?’ ou ‘isso poderia ter sido escrito pela IA?’ Essas respostas são aleatórias e não têm base em fatos.”

Nesse sentido, a OpenAI também aborda a propensão de seus modelos de IA de confabular informações falsas, que também abordamos em detalhes na Ars. “Às vezes, o ChatGPT parece convincente, mas pode fornecer informações incorretas ou enganosas (muitas vezes chamadas de ‘alucinação’ na literatura)”, escreve a empresa. “Ele pode até inventar coisas como citações ou citações, então não o use como sua única fonte de pesquisa.”

(Em maio, um advogado teve problemas por fazer exatamente isso – citando seis casos inexistentes que ele retirou do ChatGPT.)

Mesmo que os detectores automatizados de IA não funcionem, isso não significa que um ser humano nunca possa detectar a escrita de IA. Por exemplo, um professor familiarizado com o estilo de escrita típico de um aluno pode perceber quando seu estilo ou capacidade muda repentinamente. Além disso, algumas tentativas descuidadas de fazer com que o trabalho gerado pela IA seja escrito por humanos podem deixar sinais reveladores, como a frase “ como um modelo de linguagem de IA ”, que significa que alguém copiou e colou a saída do ChatGPT sem tomar cuidado. E recentemente, um artigo na revista científica Nature mostrou como os humanos notaram a frase “Regenerar resposta” em um artigo científico, que é o rótulo de um botão no ChatGPT.

No estado atual da tecnologia, é mais seguro evitar completamente as ferramentas automatizadas de detecção de IA. “A partir de agora, a escrita de IA é indetectável e provavelmente continuará assim”, disse Ethan Mollick, analista frequente de IA e professor da Wharton, a Ars em julho. “Os detectores de IA têm altas taxas de falsos positivos e, como resultado, não devem ser usados.”