OpenAI tunnistab, et tehisintellekti kirjutamisdetektorid ei tööta

KKK jaotises pealkirjaga “Kas tehisintellekti detektorid töötavad?” kirjutab OpenAI : “Lühidalt, ei. Kuigi mõned (sealhulgas OpenAI) on välja andnud tööriistu, mille eesmärk on tuvastada tehisintellekti loodud sisu, ei ole ükski neist osutunud usaldusväärseks eristavaks tehisintellekti loodud sisu ja inimeste loodud sisu vahel.

Juulis käsitlesime põhjalikult, miks tehisintellekti kirjutamisdetektorid, nagu GPTZero, ei tööta. Eksperdid nimetasid neid “peamiselt maduõliks”. Need detektorid annavad sageli valepositiivseid tulemusi, kuna tuginevad tõestamata tuvastusmõõdikutele. Lõppkokkuvõttes pole tehisintellektiga kirjutatud tekstis midagi erilist, mis eristab seda alati inimese kirjutatud tekstist, ja detektoreid saab ümbersõnastamisega lüüa. Samal kuul lõpetas OpenAI oma tehisintellekti klassifikaatori, mis oli AI-ga kirjutatud teksti tuvastamiseks loodud eksperimentaalne tööriist. Sellel oli 26-protsendiline täpsus.

OpenAI uus KKK käsitleb ka teist suurt eksiarvamust, milleks on see, et ChatGPT ise saab teada, kas tekst on AI kirjutatud või mitte. OpenAI kirjutab: “Lisaks pole ChatGPT-l “teadmisi” selle kohta, millist sisu võiks AI-ga luua. Mõnikord annab see vastuseid küsimustele, nagu “kas sa kirjutasid selle [essee]?” või “kas selle võis kirjutada AI?” Need vastused on juhuslikud ja neil pole tegelikku alust.

Sellega seoses käsitleb OpenAI ka oma AI mudelite kalduvust valeteavet segada, mida oleme üksikasjalikult käsitlenud ka Arsis. “Mõnikord kõlab ChatGPT veenvalt, kuid see võib anda teile ebaõiget või eksitavat teavet (kirjanduses nimetatakse seda sageli hallutsinatsiooniks), ” kirjutab ettevõte. “See võib isegi sisaldada selliseid asju nagu tsitaadid või tsitaadid, nii et ärge kasutage seda oma ainsa uurimisallikana.”

(Mais sattus advokaat just seda tehes hätta – viidates kuuele olematule juhtumile, mille ta ChatGPT-st välja tõi.)

Kuigi automatiseeritud tehisintellekti detektorid ei tööta, ei tähenda see, et inimene ei saaks kunagi AI-kirjutust tuvastada. Näiteks saab õpetaja, kes tunneb õpilase tüüpilist kirjutamisstiili, aru saada, kui tema stiil või võime äkki muutub. Samuti võivad mõned lohakad katsed jätta tehisintellekti loodud tööd inimeste poolt kirjutatud tekstina maha märguandemärgid, näiteks fraas „ AI keelemudelina ”, mis tähendab, et keegi kopeeris ja kleepis ChatGPT väljundi ettevaatlikult. Ja hiljuti näitas teadusajakirjas Nature avaldatud artikkel, kuidas inimesed märkasid ühes teaduslikus artiklis fraasi „Regenerate response”, mis on ChatGPT-s nupu silt.

Tehnoloogia praegusel hetkel on kõige turvalisem automaatseid tehisintellekti tuvastamise tööriistu täielikult vältida. “Praegu on tehisintellekti kirjutamine tuvastamatu ja tõenäoliselt jääb selliseks,” ütles sagedane AI-analüütik ja Whartoni professor Ethan Mollick juulis Arsile. “AI-detektoritel on kõrge valepositiivsuse määr ja seetõttu ei tohiks neid kasutada.”