OpenAI gibt zu, dass KI-Schreibdetektoren nicht funktionieren

In einem Abschnitt der FAQ mit dem Titel „Funktionieren KI-Detektoren?“ schreibt OpenAI : „Kurz gesagt, nein. Während einige (einschließlich OpenAI) Tools veröffentlicht haben, die vorgeben, KI-generierte Inhalte zu erkennen, hat keines davon nachweislich zuverlässig zwischen KI-generierten und von Menschen generierten Inhalten unterscheiden können.“

Im Juli haben wir ausführlich dargelegt, warum KI-Schreibdetektoren wie GPTZero nicht funktionieren. Experten nennen sie „hauptsächlich Schlangenöl“. Diese Detektoren liefern oft falsch positive Ergebnisse, weil sie sich auf unbewiesene Erkennungsmetriken stützen. Letztlich gibt es an KI-geschriebenem Text nichts Besonderes, das ihn immer von menschengeschriebenem unterscheidet, und Detektoren können durch Umformulierung umgangen werden. Im selben Monat stellte OpenAI seinen AI Classifier ein, ein experimentelles Tool zur Erkennung von KI-geschriebenem Text. Die Trefferquote lag bei miserablen 26 Prozent.

Die neuen FAQ von OpenAI räumen auch mit einem weiteren großen Missverständnis auf, nämlich dass ChatGPT selbst erkennen kann, ob Text von KI geschrieben wurde oder nicht. OpenAI schreibt: „Außerdem hat ChatGPT kein ‚Wissen‘ darüber, welche Inhalte KI-generiert werden könnten.“ Manchmal werden Antworten auf Fragen wie „Haben Sie diesen [Aufsatz] geschrieben?“ zusammengestellt. oder „Könnte das von KI geschrieben worden sein?“ Diese Antworten sind zufällig und entbehren jeder tatsächlichen Grundlage.“

In diesem Sinne geht OpenAI auch auf die Neigung seiner KI-Modelle ein , falsche Informationen zu verfälschen, was wir bei Ars ebenfalls ausführlich behandelt haben. „Manchmal klingt ChatGPT überzeugend, aber es kann Ihnen falsche oder irreführende Informationen liefern (in der Literatur oft als ‚Halluzination‘ bezeichnet)“, schreibt das Unternehmen. „Es können sogar Dinge wie Zitate oder Zitate darin vorkommen, also nutzen Sie es nicht als Ihre einzige Recherchequelle.“

(Im Mai geriet ein Anwalt genau deshalb in Schwierigkeiten – er zitierte sechs nicht existierende Fälle, die er aus ChatGPT abgerufen hatte.)

Auch wenn automatisierte KI-Detektoren nicht funktionieren, heißt das nicht, dass ein Mensch niemals KI-Schreiben erkennen kann. Beispielsweise kann ein Lehrer, der mit dem typischen Schreibstil eines Schülers vertraut ist, erkennen, wenn sich dessen Stil oder Fähigkeiten plötzlich ändern. Auch einige schlampige Versuche, KI-generierte Arbeit als von Menschen geschrieben auszugeben, können verräterische Anzeichen hinterlassen, wie zum Beispiel die Formulierung „als KI-Sprachmodell “, was bedeutet, dass jemand die ChatGPT-Ausgabe unvorsichtig kopiert und eingefügt hat. Und kürzlich zeigte ein Artikel in der Fachzeitschrift Nature, wie Menschen in einer wissenschaftlichen Arbeit den Ausdruck „Regenerationsreaktion“ bemerkten , der die Bezeichnung einer Schaltfläche in ChatGPT darstellt.

Beim heutigen Stand der Technik ist es am sichersten, vollständig auf automatisierte KI-Erkennungstools zu verzichten. „Derzeit ist KI-Schreiben nicht nachweisbar und wird es wahrscheinlich auch bleiben“, sagte der häufige KI-Analyst und Wharton-Professor Ethan Mollick im Juli gegenüber Ars. „KI-Detektoren weisen eine hohe Falsch-Positiv-Rate auf und sollten daher nicht eingesetzt werden.“