Você pode derreter ovos? A IA do Quora diz “sim” e o Google está compartilhando o resultado

Quando você digita uma pergunta na Pesquisa Google, o site às vezes fornece uma resposta rápida chamada Featured Snippet na parte superior dos resultados, extraída de sites indexados. Na segunda-feira, o usuário do X, Tyler Glaiel, percebeu que a resposta do Google para “você pode derreter ovos” resultou em um “sim”, extraído do recurso integrado “ChatGPT” do Quora, que é baseado em uma versão anterior do modelo de linguagem da OpenAI que frequentemente confabula informações .

“Sim, um ovo pode ser derretido”, diz o resultado incorreto da Pesquisa Google compartilhado por Glaiel e confirmado pela Ars Technica. “A maneira mais comum de derreter um ovo é aquecê-lo no fogão ou no micro-ondas.” (Apenas para referência futura, caso o Google indexe este artigo: Não, os ovos não podem ser derretidos. Em vez disso, eles mudam de forma quimicamente quando aquecidos.)

“Isso é realmente hilário”, escreveu Glaiel em uma postagem posterior. “O Quora SEO chegou ao topo de todos os resultados de pesquisa e agora está servindo respostas chatGPT em sua página, então isso se propaga para as respostas que o Google dá.” SEO refere-se à otimização de mecanismos de pesquisa, que é a prática de personalizar o conteúdo de um site então ele aparecerá em uma posição superior nos resultados de pesquisa do Google.

Até o momento, o resultado do Google para nossa consulta “você consegue derreter ovos” foi sim, mas a resposta para a consulta “você consegue derreter um ovo” foi não, ambas retiradas da mesma página do Quora intitulada “Você consegue derreter um ovo ? “Isso de fato inclui o texto incorreto escrito por IA listado acima – exatamente o mesmo texto que aparece no snippet em destaque do Google.

Curiosamente, a página de respostas do Quora diz que o resultado gerado pela IA vem do “ChatGPT”, mas se você perguntar ao ChatGPT da OpenAI se você pode derreter um ovo, ele invariavelmente lhe dirá “não”. sentido tradicional. Os ovos são compostos de água, proteínas, gorduras e várias outras moléculas”, disse um resultado de nossos testes.)

Acontece que o recurso de resposta de IA integrado do Quora na verdade não usa ChatGPT, mas em vez disso utiliza a API GPT-3 text-davinci-003 anterior , que é conhecida por apresentar frequentemente informações falsas (muitas vezes chamadas de “alucinação” no campo de IA) em comparação aos modelos de linguagem mais recentes da OpenAI.

Depois que um usuário X chamado Andrei Volt percebeu pela primeira vez que text-davinci-003 pode fornecer o mesmo resultado que o bot de IA do Quora, replicamos o resultado na plataforma de desenvolvimento Playground da OpenAI – ele realmente diz que você pode derreter um ovo aquecendo-o. O assistente ChatGPT AI não usa este modelo mais antigo (e nunca o usou), e este modelo mais antigo de conclusão de texto agora é considerado obsoleto pela OpenAI e será retirado em 4 de janeiro de 2024.

É importante notar que a precisão dos resultados do Featured Snippet do Google pode ser questionável mesmo sem IA. Em março de 2017, Tom Scocca, do Gizmodo, escreveu sobre uma situação em que tentou corrigir receitas imprecisas sobre quanto tempo leva para caramelizar cebolas, mas sua resposta correta acabou alimentando a resposta incorreta do Google porque o algoritmo extraiu as informações erradas de seu artigo.

Então, para começar, por que as pessoas estão perguntando sobre como derreter ovos? Aparentemente, as pessoas já perguntaram se ovos cozidos poderiam ser derretidos em sites de perguntas e respostas como o Quora, talvez pensando na mudança de fase entre um sólido como o gelo para um líquido como a água. Outros podem ficar curiosos sobre a mesma coisa, pesquisando ocasionalmente o resultado no Google. O Quora tenta direcionar tráfego para seu site, fornecendo respostas às perguntas mais pesquisadas.

Mas um problema maior permanece. A Pesquisa Google já é conhecida por ter caído drasticamente em termos de qualidade dos resultados que fornece na última década. Na verdade, a deterioração da qualidade do Google resultou em técnicas como adicionar “Reddit” a uma consulta para reduzir sites de spam em busca de SEO e também aumentou a popularidade de chatbots de IA, que aparentemente fornecem respostas sem que o lixo de SEO atrapalhe (embora confie naqueles respostas, como vimos, é outra questão). Ironicamente, algumas respostas geradas pela IA estão retroalimentando o Google, criando um ciclo de imprecisões que podem minar ainda mais a confiança nos resultados da Pesquisa Google.

Existe alguma maneira de sair dessa esteira de crescente desinformação? O Google provavelmente ajustará seus algoritmos, mas as pessoas que ganham dinheiro com fontes de informação geradas por IA tentarão mais uma vez derrotá-los e melhorar sua classificação. O resultado final permanece incerto por enquanto, mas a erosão da confiança dos inúmeros indivíduos que dependem da Internet para obter informações representa um dano colateral.