OpenAI ammette che i rilevatori di scrittura AI non funzionano

In una sezione delle FAQ intitolata “I rilevatori AI funzionano?”, OpenAI scrive : “In breve, no. Sebbene alcuni (incluso OpenAI) abbiano rilasciato strumenti che pretendono di rilevare i contenuti generati dall’intelligenza artificiale, nessuno di questi ha dimostrato di distinguere in modo affidabile tra contenuti generati dall’intelligenza artificiale e contenuti generati dall’uomo”.

A luglio abbiamo spiegato in modo approfondito il motivo per cui i rilevatori di scrittura AI come GPTZero non funzionano, con gli esperti che li chiamano “per lo più olio di serpente”. Questi rilevatori spesso producono falsi positivi perché si affidano a metriche di rilevamento non comprovate. In definitiva, non c’è nulla di speciale nel testo scritto dall’intelligenza artificiale che lo distingua sempre da quello scritto dall’uomo, e i rilevatori possono essere sconfitti riformulando. Nello stesso mese, OpenAI ha interrotto il suo Classificatore AI, uno strumento sperimentale progettato per rilevare il testo scritto dall’intelligenza artificiale. Aveva un pessimo tasso di precisione del 26%.

Le nuove FAQ di OpenAI affrontano anche un altro grande malinteso, ovvero che lo stesso ChatGPT possa sapere se il testo è scritto dall’intelligenza artificiale o meno. OpenAI scrive: “Inoltre, ChatGPT non ha ‘conoscenza’ di quali contenuti potrebbero essere generati dall’intelligenza artificiale. A volte creerà risposte a domande come “hai scritto tu questo [saggio]?” o “questo potrebbe essere stato scritto dall’intelligenza artificiale?” Queste risposte sono casuali e non hanno alcun fondamento nei fatti”.

In questo senso, OpenAI affronta anche la propensione dei suoi modelli di intelligenza artificiale a confabulare informazioni false, di cui abbiamo parlato in dettaglio anche ad Ars. “A volte, ChatGPT sembra convincente, ma potrebbe fornire informazioni errate o fuorvianti (spesso chiamate ‘allucinazioni’ in letteratura)”, scrive l’azienda. “Può anche inventare cose come citazioni o citazioni, quindi non usarlo come unica fonte per la ricerca.”

(A maggio, un avvocato è finito nei guai per aver fatto proprio questo , citando sei casi inesistenti che aveva estratto da ChatGPT.)

Anche se i rilevatori automatizzati di intelligenza artificiale non funzionano, ciò non significa che un essere umano non potrà mai rilevare la scrittura dell’intelligenza artificiale. Ad esempio, un insegnante che ha familiarità con lo stile di scrittura tipico di uno studente può capire quando il suo stile o le sue capacità cambiano improvvisamente. Inoltre, alcuni tentativi sciatti di spacciare il lavoro generato dall’intelligenza artificiale per scritto da esseri umani possono lasciare segni rivelatori, come la frase ” come modello linguistico dell’intelligenza artificiale “, che significa che qualcuno ha copiato e incollato l’output di ChatGPT senza prestare attenzione. E di recente, un articolo sulla rivista scientifica Nature ha mostrato come gli esseri umani abbiano notato in un articolo scientifico la frase “Risposta rigenerata”, che è l’etichetta di un pulsante in ChatGPT.

Allo stato attuale della tecnologia, è più sicuro evitare completamente gli strumenti di rilevamento automatico dell’intelligenza artificiale. “A partire da ora, la scrittura dell’intelligenza artificiale non è rilevabile ed è probabile che rimanga tale”, ha detto ad Ars a luglio Ethan Mollick, esperto analista di intelligenza artificiale e professore di Wharton. “I rilevatori di intelligenza artificiale hanno tassi elevati di falsi positivi e di conseguenza non dovrebbero essere utilizzati.”