Hur ChatGPT förvandlade generativ AI till ett ”va som helst verktyg”

Teknikchefen för en robotstartup sa till mig tidigare i år, ”Vi trodde att vi skulle behöva göra mycket arbete för att bygga ”ChatGPT för robotik.” Istället visar det sig att ChatGPT i många fall är ChatGPT för robotik.”

Tills nyligen var AI-modeller specialiserade verktyg. Att använda AI inom ett visst område, som robotik, innebar att lägga tid och pengar på att skapa AI-modeller specifikt och endast för det området. Till exempel, Googles AlphaFold, en AI-modell för att förutsäga proteinveckning, tränades med hjälp av proteinstrukturdata och är endast användbar för att arbeta med proteinstrukturer.

Så den här grundaren trodde att för att dra nytta av generativ AI, skulle robotikföretaget behöva skapa sina egna specialiserade generativa AI-modeller för robotik. Istället upptäckte teamet att de i många fall kunde använda off-the-shelf ChatGPT för att styra sina robotar utan att AI någonsin hade utbildats specifikt för det.

Jag har hört liknande saker från teknologer som arbetar med allt från sjukförsäkring till halvledardesign. För att skapa ChatGPT, en chatbot som låter människor använda generativ AI genom att helt enkelt ha en konversation, behövde OpenAI ändra stora språkmodeller (LLM) som GPT3 för att bli mer lyhörda för mänsklig interaktion.

Men kanske av misstag låter dessa förändringar efterföljarna till GPT3, som GPT3.5 och GPT4, användas som kraftfulla, allmänna informationsbehandlingsverktyg – verktyg som inte är beroende av kunskapen som AI-modellen ursprungligen tränades på eller applikationerna modellen tränades för. Detta kräver att man använder AI-modellerna på ett helt annat sätt – programmering istället för att chatta, ny data istället för träning. Men det öppnar vägen för AI att bli allmänt ändamål snarare än specialiserat, mer av ett ”vad som helst verktyg”.

Hur kom vi hit?

Grundläggande: Sannolikhet, gradientnedstigning och finjustering

Låt oss ta ett ögonblick för att beröra hur de LLM som kraftgenererande AI fungerar och hur de tränas.

LLM som GPT4 är probabilistiska; de tar en input och förutsäger sannolikheten för ord och fraser som hänför sig till den inmatningen. De genererar sedan en utdata som med största sannolikhet är lämplig med tanke på input. Det är som ett mycket sofistikerat autoslutförande: Ta lite text och ge mig vad som kommer härnäst. I grund och botten betyder det att generativ AI inte lever i ett sammanhang av ”rätt och fel” utan snarare ”mer och mindre troligt.”

Att vara probabilistisk har styrkor och svagheter. Svagheterna är välkända: Generativ AI kan vara oförutsägbar och inexakt, benägen att inte bara producera dålig produktion utan producera den på sätt du aldrig förväntar dig. Men det betyder också att AI kan vara oförutsägbart kraftfull och flexibel på sätt som traditionella, regelbaserade system inte kan vara. Vi behöver bara forma den slumpen på ett användbart sätt.

Här är en analogi. Före kvantmekaniken trodde fysiker att universum fungerade på förutsägbara, deterministiska sätt. Kvantvärldens slumpmässighet kom först som en chock, men vi lärde oss att omfamna kvantkonstigheter och sedan använda det praktiskt. Kvanttunneling är i grunden stokastisk, men den kan styras så att partiklar hoppar i förutsägbara mönster. Detta är vad som ledde till halvledare och chipsen som driver enheten du läser den här artikeln om. Acceptera inte bara att Gud spelar tärning med universum – lär dig hur du laddar tärningarna.

Samma sak gäller för AI. Vi tränar de neurala nätverk som LLM är gjorda av med en teknik som kallas ”gradient descent.” Gradient descent tittar på utdata som en modell producerar, jämför det med träningsdata och beräknar sedan en ”riktning” för att justera det neurala nätverkets parametrar så att utdata blir ”mer” korrekta – det vill säga att likna träningsdata mer AI är given. I fallet med vår magiska automatiska komplettering betyder ett mer korrekt svar utmatning av text som är mer sannolikt att följa inmatningen.

Probabilistisk matematik är ett utmärkt sätt för datorer att hantera ord; Att beräkna hur sannolikt det är att vissa ord följer andra ord räknas bara, och ”hur många” är mycket lättare för en dator att arbeta med än ”mer rätt eller mer fel.” Producera utdata, jämför med träningsdata och justera. Skölj och upprepa, gör många små, inkrementella förbättringar, och så småningom kommer du att förvandla ett neuralt nätverk som spottar ur sig skitsnack till något som producerar sammanhängande meningar. Och denna teknik kan också anpassas till bilder, DNA-sekvenser med mera.