OpenAI indrømmer, at AI-skrivedetektorer ikke virker

I et afsnit af ofte stillede spørgsmål med titlen “Virker AI-detektorer?”, skriver OpenAI : “Kort sagt nej. Mens nogle (inklusive OpenAI) har udgivet værktøjer, der foregiver at detektere AI-genereret indhold, har ingen af ​​disse vist sig at skelne pålideligt mellem AI-genereret og menneskeskabt indhold.”

I juli dækkede vi i dybden, hvorfor AI-skrivedetektorer såsom GPTZero ikke virker, med eksperter, der kalder dem “for det meste slangeolie.” Disse detektorer giver ofte falske positiver på grund af afhængighed af ubeviste detektionsmålinger. I sidste ende er der ikke noget særligt ved AI-skrevet tekst, der altid adskiller den fra menneskeskreven, og detektorer kan besejres ved omformulering. Samme måned stoppede OpenAI sin AI Classifier, som var et eksperimentelt værktøj designet til at opdage AI-skrevet tekst. Det havde en afgrundsdyb 26 procents nøjagtighed.

OpenAIs nye FAQ adresserer også en anden stor misforståelse, som er, at ChatGPT selv kan vide, om tekst er AI-skrevet eller ej. OpenAI skriver: “Derudover har ChatGPT ingen ‘viden’ om, hvilket indhold der kunne være AI-genereret. Det vil nogle gange udgøre svar på spørgsmål som “skrev du dette [essay]?” eller ‘kunne dette være skrevet af AI?’ Disse svar er tilfældige og har intet grundlag i virkeligheden.”

På den måde adresserer OpenAI også deres AI-modellers tilbøjelighed til at konfabulere falsk information, som vi også har dækket i detaljer på Ars. “Nogle gange lyder ChatGPT overbevisende, men det kan give dig forkerte eller vildledende oplysninger (ofte kaldet en ‘hallucination’ i litteraturen),” skriver virksomheden. “Det kan endda udgøre ting som citater eller citater, så brug det ikke som din eneste kilde til forskning.”

(I maj kom en advokat i problemer for at gøre netop det – med henvisning til seks ikke-eksisterende sager, som han trak fra ChatGPT.)

Selvom automatiserede AI-detektorer ikke virker, betyder det ikke, at et menneske aldrig kan registrere AI-skrivning. For eksempel kan en lærer, der er bekendt med en elevs typiske skrivestil, fortælle, hvornår deres stil eller evner pludselig ændrer sig. Også nogle sjuskede forsøg på at videregive AI-genereret arbejde som menneskeskrevet kan efterlade afslørende tegn, såsom sætningen ” som en AI-sprogmodel “, hvilket betyder, at nogen har kopieret og indsat ChatGPT-output uden at være forsigtig. Og for nylig viste en artikel i det videnskabelige tidsskrift Nature, hvordan mennesker lagde mærke til sætningen “Regenerate response” i et videnskabeligt papir, som er etiketten på en knap i ChatGPT.

Som teknologien er i dag, er det sikrest helt at undgå automatiserede AI-detektionsværktøjer. “I øjeblikket er AI-skrivning uopdagelig og vil sandsynligvis forblive det,” fortalte en hyppig AI-analytiker og Wharton-professor Ethan Mollick til Ars i juli. “AI-detektorer har høje falske positive rater, og de bør ikke bruges som et resultat.”