OpenAI atzīst, ka AI rakstīšanas detektori nedarbojas

Bieži uzdoto jautājumu sadaļā ar nosaukumu “Vai AI detektori darbojas?” OpenAI raksta : “Īsi sakot, nē. Lai gan daži (tostarp OpenAI) ir izlaiduši rīkus, kuru mērķis ir atklāt mākslīgā intelekta radītu saturu, neviens no tiem nav pierādījis, ka AI radītu saturu varētu droši atšķirt no cilvēka radītā satura.

Jūlijā mēs padziļināti apskatījām, kāpēc mākslīgā intelekta rakstīšanas detektori, piemēram, GPTZero, nedarbojas, jo eksperti tos sauca par “galvenokārt čūsku eļļu”. Šie detektori bieži vien rada kļūdaini pozitīvus rezultātus, jo paļaujas uz nepierādītām noteikšanas metriku. Galu galā mākslīgā intelekta rakstītajā tekstā nav nekā īpaša, kas to vienmēr atšķirtu no cilvēka rakstīta, un detektorus var uzvarēt, pārfrāzējot. Tajā pašā mēnesī OpenAI pārtrauca savu AI klasifikatoru, kas bija eksperimentāls rīks, kas paredzēts AI rakstīta teksta noteikšanai. Tam bija neticami 26 procentu precizitātes rādītājs.

OpenAI jaunie FAQ pievēršas arī citam lielam nepareizam priekšstatam, proti, ChatGPT pati var zināt, vai teksts ir rakstīts ar mākslīgo intelektu. OpenAI raksta: “Turklāt ChatGPT nav “zināšanu” par to, kādu saturu varētu ģenerēt AI. Tas dažreiz veidos atbildes uz jautājumiem, piemēram, “vai jūs rakstījāt šo [eseju]?” vai “to varētu būt rakstījis AI?” Šīs atbildes ir nejaušas, un tām nav nekāda pamata.

Līdz ar to OpenAI pievēršas arī savu AI modeļu tieksmei sajaukt nepatiesu informāciju, ko mēs arī detalizēti aplūkojām vietnē Ars. “Dažreiz ChatGPT izklausās pārliecinoši, taču tas var sniegt jums nepareizu vai maldinošu informāciju (literatūrā to bieži sauc par “halucināciju”), raksta uzņēmums. “Tas var pat veidot tādas lietas kā citāti vai citāti, tāpēc neizmantojiet to kā savu vienīgo pētījumu avotu.”

(Maijā kāds advokāts nokļuva nepatikšanās, jo to izdarīja , atsaucoties uz sešām neesošām lietām, kuras viņš izvilka no ChatGPT.)

Pat ja automatizētie AI detektori nedarbojas, tas nenozīmē, ka cilvēks nekad nevar atklāt AI rakstīšanu. Piemēram, skolotājs, kurš pārzina skolēna tipisko rakstīšanas stilu, var pateikt, kad pēkšņi mainās viņa stils vai spējas. Turklāt daži pavirši mēģinājumi AI radīto darbu uzskatīt par cilvēka rakstītu var atstāt signālus, piemēram, frāzi “ kā AI valodas modelis ”, kas nozīmē, ka kāds bez piesardzības ir kopējis un ielīmējis ChatGPT izvadi. Un nesen raksts zinātniskajā žurnālā Nature parādīja, kā cilvēki pamanīja frāzi “Atjaunot reakciju” zinātniskā rakstā, kas ir ChatGPT pogas apzīmējums.

Pašreizējās tehnoloģijas apstākļos visdrošāk ir pilnībā izvairīties no automatizētiem AI noteikšanas rīkiem. “Pagaidām mākslīgā intelekta rakstīšana nav nosakāma un, visticamāk, tā arī paliks,” Ars jūlijā sacīja bieži AI analītiķis un Vārtonas profesors Ītans Moliks. “AI detektoriem ir augsts viltus pozitīvu rezultātu līmenis, un tādēļ tos nevajadzētu izmantot.”