Hvordan ChatGPT forvandlede generativ AI til et “hvad som helst værktøj”

Chief technology officer for en robot-startup fortalte mig tidligere på året, “Vi troede, at vi skulle gøre en masse arbejde for at bygge ‘ChatGPT for robotics’. I stedet viser det sig, at ChatGPT i mange tilfælde er ChatGPT til robotteknologi.”

Indtil for nylig var AI-modeller specialiserede værktøjer. At bruge AI i et bestemt område, som robotteknologi, betød at bruge tid og penge på at skabe AI-modeller specifikt og kun til det område. For eksempel blev Googles AlphaFold, en AI-model til at forudsige proteinfoldning, trænet ved hjælp af proteinstrukturdata og er kun nyttig til at arbejde med proteinstrukturer.

Så denne grundlægger mente, at for at drage fordel af generativ AI, ville robotvirksomheden skulle skabe sine egne specialiserede generative AI-modeller til robotteknologi. I stedet opdagede holdet, at de i mange tilfælde kunne bruge off-the-shelf ChatGPT til at styre deres robotter, uden at AI nogensinde var blevet specifikt trænet til det.

Jeg har hørt lignende ting fra teknologer, der arbejder med alt fra sygesikring til halvlederdesign. For at skabe ChatGPT, en chatbot, der lader mennesker bruge generativ AI ved blot at have en samtale, var OpenAI nødt til at ændre store sprogmodeller (LLM’er) som GPT3 for at blive mere lydhøre over for menneskelig interaktion.

Men måske utilsigtet lod de samme ændringer efterfølgerne til GPT3, som GPT3.5 og GPT4, blive brugt som kraftfulde, generelle informationsbehandlingsværktøjer – værktøjer, der ikke er afhængige af den viden, AI-modellen oprindeligt blev trænet på eller de applikationer modellen er trænet til. Dette kræver brug af AI-modellerne på en helt anden måde – programmering i stedet for at chatte, nye data i stedet for træning. Men det åbner vejen for AI til at blive til generelle formål snarere end specialiseret, mere et “hvad som helst værktøj”.

Hvordan kom vi hertil?

Grundlæggende: Sandsynlighed, gradientnedstigning og finjustering

Lad os tage et øjeblik på at røre ved, hvordan de LLM’er, der kraftgenererende AI fungerer, og hvordan de trænes.

LLM’er som GPT4 er probabilistiske; de tager et input og forudsiger sandsynligheden for, at ord og sætninger relaterer til det input. De genererer derefter et output, der med stor sandsynlighed er passende givet inputtet. Det er som en meget sofistikeret autofuldførelse: Tag noget tekst, og giv mig, hvad der kommer næste gang. Grundlæggende betyder det, at generativ AI ikke lever i en kontekst af “rigtigt og forkert”, men snarere “mere og mindre sandsynligt.”

At være probabilistisk har styrker og svagheder. Svaghederne er velkendte: Generativ AI kan være uforudsigelig og upræcis, tilbøjelig til ikke bare at producere dårligt output, men producere det på måder, du aldrig ville forvente. Men det betyder også, at AI kan være uforudsigeligt kraftfuld og fleksibel på måder, som traditionelle, regelbaserede systemer ikke kan være. Vi skal bare forme den tilfældighed på en nyttig måde.

Her er en analogi. Før kvantemekanikken troede fysikere, at universet fungerede på forudsigelige, deterministiske måder. Tilfældigheden i kvanteverdenen kom som et chok i starten, men vi lærte at omfavne kvanteunderligheder og derefter bruge det praktisk. Kvantetunnelering er grundlæggende stokastisk, men den kan styres, så partikler hopper i forudsigelige mønstre. Dette er, hvad der førte til halvledere og chipsene, der driver den enhed, du læser denne artikel om. Accepter ikke bare, at Gud spiller terninger med universet – lær hvordan du lægger terningerne.

Det samme gælder for AI. Vi træner de neurale netværk, som LLM’er er lavet af, ved hjælp af en teknik kaldet “gradient descent.” Gradient descent ser på de output, en model producerer, sammenligner dem med træningsdata og beregner derefter en “retning” for at justere det neurale netværks parametre, så udgangene bliver “mere” korrekte – det vil sige at ligne træningsdataene mere AI er givet. I tilfælde af vores magiske autofuldførelse betyder et mere korrekt svar output tekst, der er mere tilbøjelig til at følge inputtet.

Probabilistisk matematik er en fantastisk måde for computere at håndtere ord på; at beregne, hvor sandsynligt det er, at nogle ord følger andre ord, tæller bare, og “hvor mange” er meget nemmere for en computer at arbejde med end “mere rigtigt eller mere forkert.” Fremstil output, sammenlign med træningsdataene og juster. Skyl og gentag, lav mange små, trinvise forbedringer, og til sidst vil du forvandle et neuralt netværk, der spytter vrøvl, til noget, der producerer sammenhængende sætninger. Og denne teknik kan også tilpasses billeder, DNA-sekvenser og meget mere.