OpenAI przyznaje, że detektory pisania AI nie działają

W części FAQ zatytułowanej „Czy detektory AI działają?” OpenAI pisze : „Krótko mówiąc, nie. Chociaż niektóre (w tym OpenAI) udostępniły narzędzia, które mają wykrywać treści generowane przez sztuczną inteligencję, żadne z nich nie udowodniło, że niezawodnie rozróżnia treści generowane przez sztuczną inteligencję od treści generowanych przez człowieka.

W lipcu szczegółowo omówiliśmy, dlaczego detektory AI piszące, takie jak GPTZero, nie działają, a eksperci nazwali je „głównie olejem wężowym”. Detektory te często dają fałszywe alarmy ze względu na poleganie na niesprawdzonych wskaźnikach wykrywania . Ostatecznie nie ma nic specjalnego w tekście pisanym przez sztuczną inteligencję, co zawsze odróżniałoby go od tekstu pisanego przez człowieka, a detektory można pokonać poprzez przeformułowanie. W tym samym miesiącu OpenAI zaprzestało stosowania klasyfikatora AI, który był eksperymentalnym narzędziem zaprojektowanym do wykrywania tekstu napisanego przez sztuczną inteligencję. Miał fatalny współczynnik dokładności wynoszący 26 procent.

Nowe FAQ OpenAI porusza także inne duże nieporozumienie, które głosi, że ChatGPT sam może wiedzieć, czy tekst został napisany przez sztuczną inteligencję, czy nie. OpenAI pisze: „Dodatkowo ChatGPT nie ma „wiedzy” o tym, jakie treści mogą być generowane przez sztuczną inteligencję. Czasami będzie to odpowiedź na pytania typu „czy napisałeś ten [esej]?” lub „czy mogło to zostać napisane przez sztuczną inteligencję?” Odpowiedzi te są przypadkowe i nie mają oparcia w faktach.”

W tym kontekście OpenAI zajmuje się również skłonnością swoich modeli sztucznej inteligencji do konfabulacji fałszywych informacji, co również szczegółowo omówiliśmy w Ars. „Czasami ChatGPT brzmi przekonująco, ale może dostarczyć nieprawidłowych lub wprowadzających w błąd informacji (często nazywanych w literaturze „halucynacją”)” – pisze firma. „Może nawet zawierać cytaty lub cytaty, więc nie używaj go jako jedynego źródła badań”.

(W maju pewien prawnik wpadł właśnie w kłopoty z tego powodu , powołując się na sześć nieistniejących spraw, które ściągnął z ChatGPT.)

Chociaż automatyczne detektory AI nie działają, nie oznacza to, że człowiek nigdy nie będzie w stanie wykryć pisma AI. Na przykład nauczyciel zaznajomiony z typowym stylem pisania ucznia może rozpoznać, kiedy jego styl lub możliwości nagle się zmieniają. Ponadto niektóre niechlujne próby przedstawiania pracy wygenerowanej przez sztuczną inteligencję jako napisanej przez człowieka mogą pozostawić charakterystyczne znaki, takie jak wyrażenie „ jako model języka sztucznej inteligencji ”, co oznacza, że ​​ktoś bez zachowania ostrożności skopiował i wkleił dane wyjściowe ChatGPT. Niedawno artykuł w czasopiśmie naukowym Nature pokazał, jak ludzie zauważyli frazę „Regeneruj odpowiedź” w artykule naukowym, która jest etykietą przycisku w ChatGPT.

Przy obecnym stanie technologii najbezpieczniej jest całkowicie unikać automatycznych narzędzi do wykrywania sztucznej inteligencji. „Na razie pisma AI są niewykrywalne i prawdopodobnie tak pozostaną” – powiedział Ars w lipcu częsty analityk AI i profesor Wharton, Ethan Mollick. „Wykrywacze sztucznej inteligencji charakteryzują się dużą liczbą fałszywych alarmów i w związku z tym nie powinny być używane”.