Jak ChatGPT zmienił generatywną sztuczną inteligencję w „narzędzie do wszystkiego”

Dyrektor ds. technologii w startupie zajmującym się robotyką powiedział mi na początku tego roku: „Myśleliśmy, że będziemy musieli włożyć dużo pracy, aby zbudować „ChatGPT dla robotyki”. Zamiast tego okazuje się, że w wielu przypadkach ChatGPT to ChatGPT dla robotyki.”

Do niedawna modele AI były narzędziami specjalistycznymi. Używanie sztucznej inteligencji w określonym obszarze, np. w robotyce, oznaczało spędzanie czasu i pieniędzy na tworzeniu modeli sztucznej inteligencji specjalnie i tylko dla tego obszaru. Na przykład opracowany przez Google model AlphaFold, model sztucznej inteligencji służący do przewidywania zwijania białek, został przeszkolony przy użyciu danych o strukturze białek i jest przydatny tylko do pracy ze strukturami białkowymi.

Założyciel pomyślał więc, że aby skorzystać z generatywnej sztucznej inteligencji, firma zajmująca się robotyką będzie musiała stworzyć własne, wyspecjalizowane modele generatywnej sztucznej inteligencji dla robotyki. Zamiast tego zespół odkrył, że w wielu przypadkach można używać gotowego rozwiązania ChatGPT do sterowania robotami bez specjalnego przeszkolenia sztucznej inteligencji w tym zakresie.

Słyszałem podobne opinie od technologów pracujących nad wszystkim, od ubezpieczeń zdrowotnych po projektowanie półprzewodników. Aby stworzyć ChatGPT, chatbota umożliwiającego ludziom korzystanie z generatywnej sztucznej inteligencji po prostu poprzez rozmowę, OpenAI musiało zmienić duże modele językowe (LLM), takie jak GPT3, aby lepiej reagowały na interakcje międzyludzkie.

Być może jednak nieumyślnie te same zmiany pozwalają następcom GPT3, takim jak GPT3.5 i GPT4, być używanymi jako potężne narzędzia do przetwarzania informacji ogólnego przeznaczenia — narzędzia, które nie są zależne od wiedzy, na której model AI był pierwotnie szkolony, ani aplikacji, do których model został przeszkolony. Wymaga to zupełnie innego wykorzystania modeli AI – programowania zamiast czatowania, nowych danych zamiast uczenia się. Otwiera to jednak drogę AI, która może stać się narzędziem ogólnego przeznaczenia, a nie wyspecjalizowanym, bardziej „narzędziem do czegokolwiek”.

Jak my się tu znaleźliśmy?

Podstawy: prawdopodobieństwo, opadanie gradientu i dostrajanie

Poświęćmy chwilę, aby porozmawiać o tym, jak działają LLM wykorzystujące sztuczną inteligencję generującą energię i jak są szkolone.

LLM, takie jak GPT4, są probabilistyczne; pobierają dane wejściowe i przewidują prawdopodobieństwo słów i wyrażeń odnoszących się do tych danych wejściowych. Następnie generują wynik, który najprawdopodobniej będzie odpowiedni, biorąc pod uwagę dane wejściowe. Działa to jak bardzo wyrafinowane autouzupełnianie: weź trochę tekstu i daj mi znać, co będzie dalej. Zasadniczo oznacza to, że generatywna sztuczna inteligencja nie żyje w kontekście „dobra i zła”, ale raczej „bardziej i mniej prawdopodobna”.

Probabilistyka ma mocne i słabe strony. Słabości są dobrze znane: generatywna sztuczna inteligencja może być nieprzewidywalna i niedokładna, może nie tylko generować złe wyniki, ale także wytwarzać je w sposób, jakiego nigdy się nie spodziewasz. Oznacza to jednak również, że sztuczna inteligencja może być nieprzewidywalnie potężna i elastyczna w sposób, w jaki nie mogą być tradycyjne systemy oparte na regułach. Musimy tylko kształtować tę losowość w użyteczny sposób.

Oto analogia. Przed mechaniką kwantową fizycy uważali, że wszechświat działa w przewidywalny, deterministyczny sposób. Losowość świata kwantowego była początkowo szokiem, ale nauczyliśmy się akceptować kwantową dziwność, a następnie wykorzystywać ją w praktyce. Tunelowanie kwantowe ma zasadniczo charakter stochastyczny, ale można nim kierować tak, aby cząstki skakały według przewidywalnych wzorów. To właśnie doprowadziło do powstania półprzewodników i chipów zasilających urządzenie, o którym czytasz ten artykuł. Nie akceptuj tylko tego, że Bóg gra ze wszechświatem w kości — naucz się ładować kości.

To samo tyczy się AI. Szkolimy sieci neuronowe, z których zbudowane są LLM, za pomocą techniki zwanej „zejściem gradientowym”. Opuszczanie gradientowe analizuje dane wyjściowe generowane przez model, porównuje je z danymi szkoleniowymi, a następnie oblicza „kierunek”, aby dostosować parametry sieci neuronowej tak, aby dane wyjściowe stały się „bardziej” poprawne — to znaczy wyglądały bardziej jak dane szkoleniowe podana jest sztuczna inteligencja. W przypadku naszego magicznego automatycznego uzupełniania, bardziej poprawna odpowiedź oznacza tekst wyjściowy, który z większym prawdopodobieństwem będzie podążał za danymi wejściowymi.

Matematyka probabilistyczna to świetny sposób, w jaki komputery radzą sobie ze słowami; obliczanie prawdopodobieństwa wystąpienia niektórych słów po innych to po prostu liczenie, a „ile” jest dla komputera o wiele łatwiejsze w obsłudze niż „bardziej dobre lub bardziej błędne”. Wygeneruj dane wyjściowe, porównaj je z danymi szkoleniowymi i dostosuj. Przepłucz i powtórz, wprowadzając wiele drobnych, stopniowych ulepszeń, a ostatecznie przekształcisz sieć neuronową, która wypluwa bełkot, w coś, co tworzy spójne zdania. Technikę tę można również dostosować do zdjęć, sekwencji DNA i nie tylko.