OpenAI geeft toe dat AI-schrijfdetectoren niet werken

In een sectie van de FAQ getiteld “Werken AI-detectoren?”, schrijft OpenAI : “Kortom, nee. Hoewel sommigen (waaronder OpenAI) tools hebben uitgebracht die beweren door AI gegenereerde inhoud te detecteren, is van geen van deze tools gebleken dat ze op betrouwbare wijze onderscheid kunnen maken tussen door AI gegenereerde en door mensen gegenereerde inhoud.”

In juli hebben we uitgebreid besproken waarom AI-schrijfdetectoren zoals GPTZero niet werken, waarbij experts ze ‘meestal slangenolie’ noemden. Deze detectoren leveren vaak valse positieven op omdat ze vertrouwen op onbewezen detectiestatistieken. Uiteindelijk is er niets speciaals aan door AI geschreven tekst dat deze altijd onderscheidt van door mensen geschreven tekst, en detectoren kunnen worden verslagen door herformulering. Diezelfde maand stopte OpenAI met zijn AI Classifier, een experimenteel hulpmiddel dat was ontworpen om door AI geschreven tekst te detecteren. Het had een verschrikkelijke nauwkeurigheid van 26 procent.

De nieuwe FAQ van OpenAI pakt ook een andere grote misvatting aan, namelijk dat ChatGPT zelf kan weten of tekst door AI is geschreven of niet. OpenAI schrijft: “Bovendien heeft ChatGPT geen ‘kennis’ van welke inhoud door AI kan worden gegenereerd. Het bevat soms antwoorden op vragen als ‘heb je dit [essay] geschreven?’ of ‘zou dit door AI geschreven kunnen zijn?’ Deze reacties zijn willekeurig en hebben geen feitelijke basis.”

In die zin gaat OpenAI ook in op de neiging van zijn AI-modellen om valse informatie te verzinnen, wat we ook in detail hebben besproken bij Ars. “Soms klinkt ChatGPT overtuigend, maar het kan je onjuiste of misleidende informatie geven (in de literatuur vaak een ‘hallucinatie’ genoemd),’ schrijft het bedrijf. “Er kunnen zelfs dingen in staan ​​als citaten of citaten, dus gebruik het niet als enige bron voor onderzoek.”

(In mei kwam een ​​advocaat in de problemen omdat hij precies dat deed, waarbij hij zes niet-bestaande zaken aanhaalde die hij uit ChatGPT had gehaald.)

Ook al werken geautomatiseerde AI-detectoren niet, dat betekent niet dat een mens nooit AI-schrijven kan detecteren. Een leraar die bekend is met de typische schrijfstijl van een leerling kan bijvoorbeeld zien wanneer zijn/haar stijl of vaardigheden plotseling veranderen. Ook kunnen sommige slordige pogingen om door AI gegenereerd werk voor te stellen als door mensen geschreven, veelbetekenende signalen achterlaten, zoals de zinsnede ‘ als een AI-taalmodel ’, wat betekent dat iemand de ChatGPT-uitvoer heeft gekopieerd en geplakt zonder voorzichtig te zijn. En onlangs liet een artikel in het wetenschappelijke tijdschrift Nature zien hoe mensen de zinsnede ‘Regenerate response’ opmerkten in een wetenschappelijk artikel, wat het label is van een knop in ChatGPT.

Zoals de technologie er nu voorstaat, is het het veiligst om geautomatiseerde AI-detectietools volledig te vermijden. “Vanaf nu is AI-schrijven niet meer detecteerbaar en dat zal waarschijnlijk zo blijven”, vertelde frequente AI-analist en Wharton-professor Ethan Mollick in juli aan Ars. “AI-detectoren hebben een hoog percentage valse positieven en mogen daarom niet worden gebruikt.”