OpenAI pripažįsta, kad AI rašymo detektoriai neveikia

DUK skiltyje „Ar veikia dirbtinio intelekto detektoriai?“ OpenAI rašo : „Trumpai tariant, ne. Nors kai kurie (įskaitant OpenAI) išleido įrankius, kuriais siekiama aptikti AI sukurtą turinį, nė vienas iš jų neįrodė, kad patikimai atskirtų dirbtinio intelekto sukurtą turinį nuo žmogaus sukurto turinio.

Liepos mėnesį mes išsamiai aptarėme, kodėl neveikia dirbtinio intelekto rašymo detektoriai, tokie kaip GPTZero, o ekspertai juos vadino „dažniausiai gyvačių aliejumi“. Šie detektoriai dažnai duoda klaidingus teigiamus rezultatus, nes remiasi neįrodyta aptikimo metrika. Galų gale, dirbtinio intelekto rašytame tekste nėra nieko ypatingo, kas visada išskiria jį nuo žmogaus parašyto, o detektorius galima nugalėti perfrazavus. Tą patį mėnesį OpenAI nutraukė savo AI klasifikatorių, kuris buvo eksperimentinis įrankis, skirtas aptikti AI parašytą tekstą. Jo tikslumas buvo 26 procentai.

Naujieji „OpenAI“ DUK taip pat atkreipia dėmesį į dar vieną didelį klaidingą supratimą, kad „ChatGPT“ pats gali žinoti, ar tekstas parašytas dirbtinio intelekto, ar ne. OpenAI rašo: „Be to, „ChatGPT“ neturi „žinių“ apie tai, koks turinys gali būti sukurtas dirbtinio intelekto pagalba. Kartais tai sudarys atsakymus į tokius klausimus kaip „ar jūs parašėte šią [esė]“? arba „tai galėjo būti parašyta AI?“ Šie atsakymai yra atsitiktiniai ir neturi jokio pagrindo.

Be to, „OpenAI“ taip pat sprendžia savo AI modelių polinkį į klaidingą informaciją, kurią taip pat išsamiai aptarėme „Ars“. „Kartais „ChatGPT“ skamba įtikinamai, tačiau jis gali suteikti jums neteisingos ar klaidinančios informacijos (literatūroje dažnai vadinama „haliucinacija“)“, – rašo bendrovė. „Jis netgi gali sudaryti tokius dalykus kaip citatos ar citatos, todėl nenaudokite jo kaip vienintelio tyrimo šaltinio.

(Gegužės mėn. advokatas pateko į bėdą būtent tai padaręs – cituodamas šešias neegzistuojančias bylas, kurias ištraukė iš ChatGPT.)

Net jei automatizuoti AI detektoriai neveikia, tai nereiškia, kad žmogus niekada negali aptikti AI rašymo. Pavyzdžiui, mokytojas, susipažinęs su tipišku mokinio rašymo stiliumi, gali pasakyti, kada staiga pasikeičia jo stilius ar gebėjimai. Be to, kai kurie nerūpestingi bandymai AI sukurtą darbą laikyti žmogaus parašytu, gali palikti signalinius ženklus, pvz., frazę „ kaip AI kalbos modelis “, o tai reiškia, kad kažkas neatsargiai nukopijavo ir įklijavo „ChatGPT“ išvestį. Neseniai mokslinio žurnalo „Nature“ straipsnis parodė, kaip žmonės moksliniame darbe pastebėjo frazę „Regeneruoti atsaką“, kuri yra „ChatGPT“ mygtuko etiketė.

Esant dabartinei technologijai, saugiausia visiškai vengti automatinių AI aptikimo įrankių. „Šiuo metu AI rašymas yra neaptinkamas ir greičiausiai toks išliks“, – liepą Ars sakė dažnas AI analitikas ir Vartono profesorius Ethanas Mollickas. „AI detektoriai turi daug klaidingų teigiamų rezultatų, todėl jie neturėtų būti naudojami.