Kun je eieren smelten? De AI van Quora zegt “ja” en Google deelt het resultaat

Wanneer u een vraag in Google Zoeken typt, geeft de site soms een snel antwoord, een zogenaamde Featured Snippet , bovenaan de resultaten, afkomstig van websites die zijn geïndexeerd. Maandag merkte X-gebruiker Tyler Glaiel op dat het antwoord van Google op ‘kun je eieren smelten’ resulteerde in een ‘ja’, afkomstig uit Quora’s geïntegreerde ‘ChatGPT’-functie, die is gebaseerd op een eerdere versie van OpenAI’s taalmodel dat regelmatig informatie samenvoegt .

“Ja, een ei kan worden gesmolten”, luidt het onjuiste Google-zoekresultaat gedeeld door Glaiel en bevestigd door Ars Technica. “De meest gebruikelijke manier om een ​​ei te smelten is door het te verwarmen met behulp van een fornuis of magnetron.” (Alleen ter referentie, voor het geval Google dit artikel indexeert: Nee, eieren kunnen niet worden gesmolten. In plaats daarvan veranderen ze chemisch van vorm wanneer ze worden verwarmd.)

“Dit is eigenlijk hilarisch”, schreef Glaiel in een vervolgpost. “Quora SEO heeft zichzelf bovenaan elk zoekresultaat geplaatst en geeft nu chatGPT-antwoorden op hun pagina weer, dus dat verspreidt zich naar de antwoorden die Google geeft.” SEO verwijst naar zoekmachineoptimalisatie, wat de praktijk is van het afstemmen van de inhoud van een website zodat deze hoger in de zoekresultaten van Google verschijnt.

Op het moment van schrijven was het resultaat van Google op onze vraag ‘kun je eieren smelten’ ja, maar het antwoord op de vraag ‘kun je een ei smelten’ was nee, beide afkomstig van dezelfde Quora-pagina met de titel ‘Kun je een ei smelten ? “dat bevat inderdaad de onjuiste, door AI geschreven tekst die hierboven wordt vermeld – exact dezelfde tekst die verschijnt in het Google Featured Snippet.

Interessant genoeg zegt de antwoordpagina van Quora dat het door AI gegenereerde resultaat afkomstig is van “ChatGPT”, maar als je ChatGPT van OpenAI vraagt ​​of je een ei kunt smelten, zal het je steevast “nee” zeggen (“Nee, je kunt een ei niet smelten in de traditionele betekenis. Eieren zijn samengesteld uit water, eiwitten, vetten en diverse andere moleculen”, aldus een resultaat van onze tests.)

Het blijkt dat Quora’s geïntegreerde AI-antwoordfunctie niet daadwerkelijk ChatGPT gebruikt, maar in plaats daarvan de eerdere GPT-3 text-davinci-003 API gebruikt, waarvan bekend is dat deze vaak valse informatie presenteert (vaak “hallucinatie” genoemd in het AI-veld) vergeleken naar recentere taalmodellen van OpenAI.

Nadat een X-gebruiker met de naam Andrei Volt voor het eerst merkte dat text-davinci-003 hetzelfde resultaat kan opleveren als de AI-bot van Quora, hebben we het resultaat gerepliceerd in het Playground -ontwikkelplatform van OpenAI. Er staat inderdaad dat je een ei kunt smelten door het te verwarmen. De ChatGPT AI-assistent maakt geen gebruik van dit oudere model (en heeft het ook nooit gebruikt), en dit oudere model voor het aanvullen van tekst wordt nu door OpenAI als verouderd beschouwd en wordt op 4 januari 2024 buiten gebruik gesteld.

Het is vermeldenswaard dat de nauwkeurigheid van de Featured Snippet-resultaten van Google zelfs zonder AI twijfelachtig kan zijn. In maart 2017 schreef Tom Scocca van Gizmodo over een situatie waarin hij probeerde onnauwkeurige recepten te corrigeren over hoe lang het duurt om uien te karameliseren, maar zijn juiste antwoord leidde uiteindelijk tot de onjuiste reactie van Google omdat het algoritme de verkeerde informatie uit zijn artikel haalde.

Dus waarom vragen mensen überhaupt naar het smelten van eieren? Blijkbaar hebben mensen eerder gevraagd of hardgekookte eieren gesmolten konden worden op vraag- en antwoordsites zoals Quora, misschien denkend aan de faseverandering tussen een vaste stof zoals ijs in een vloeistof zoals water. Anderen zijn misschien nieuwsgierig naar hetzelfde en zoeken af ​​en toe naar het resultaat op Google. Quora probeert verkeer naar zijn site te leiden door antwoorden te geven op veelgestelde vragen.

Maar er blijft een groter probleem bestaan. Google Zoeken staat er al om bekend dat het de afgelopen tien jaar dramatisch bergafwaarts is gegaan wat betreft de kwaliteit van de resultaten die het oplevert. In feite heeft de verslechterende kwaliteit van Google geresulteerd in technieken als het toevoegen van “Reddit” aan een zoekopdracht om het aantal SEO-zoekende spamsites terug te dringen, en heeft het ook de populariteit van AI-chatbots vergroot, die ogenschijnlijk antwoorden geven zonder dat SEO-rommel in de weg zit (hoewel het vertrouwen in die antwoorden is, zoals we hebben gezien, een geheel andere zaak). Ironisch genoeg worden sommige door AI gegenereerde antwoorden teruggekoppeld naar Google, waardoor een lus van onnauwkeurigheden ontstaat die het vertrouwen in de zoekresultaten van Google mogelijk verder kan ondermijnen.

Is er een manier om uit deze tredmolen van escalerende desinformatie te stappen? Google zal waarschijnlijk zijn algoritmen aanpassen, maar mensen die geld verdienen met door AI gegenereerde informatiebronnen zullen opnieuw proberen ze te verslaan en hun rang te verbeteren. Het eindspel blijft voorlopig onzeker, maar het eroderende vertrouwen van de talloze individuen die voor informatie op internet vertrouwen, vormt bijkomende schade.