Hoe ChatGPT generatieve AI in een “alles-tool” veranderde

De Chief Technology Officer van een robotica-startup vertelde me eerder dit jaar: “We dachten dat we veel werk zouden moeten verzetten om ‘ChatGPT voor robotica’ te bouwen. In plaats daarvan blijkt dat ChatGPT in veel gevallen ChatGPT voor robotica is.”

Tot voor kort waren AI-modellen gespecialiseerde hulpmiddelen. Het gebruik van AI op een bepaald gebied, zoals robotica, betekende dat we tijd en geld moesten besteden aan het maken van AI-modellen die specifiek en alleen voor dat gebied bedoeld waren. Google’s AlphaFold, een AI-model voor het voorspellen van eiwitvouwing, is bijvoorbeeld getraind met behulp van eiwitstructuurgegevens en is alleen nuttig voor het werken met eiwitstructuren.

Deze oprichter dacht dus dat het roboticabedrijf, om te kunnen profiteren van generatieve AI, zijn eigen gespecialiseerde generatieve AI-modellen voor robotica zou moeten creëren. In plaats daarvan ontdekte het team dat ze in veel gevallen kant-en-klare ChatGPT konden gebruiken voor het besturen van hun robots zonder dat de AI daar ooit specifiek voor was opgeleid.

Ik heb soortgelijke dingen gehoord van technologen die zich met allerlei zaken bezighouden, van ziektekostenverzekeringen tot het ontwerpen van halfgeleiders. Om ChatGPT te creëren, een chatbot waarmee mensen generatieve AI kunnen gebruiken door simpelweg een gesprek te voeren, moest OpenAI grote taalmodellen (LLM’s) zoals GPT3 veranderen om beter te kunnen reageren op menselijke interactie.

Maar wellicht onbedoeld hebben deze zelfde veranderingen ervoor gezorgd dat de opvolgers van GPT3, zoals GPT3.5 en GPT4, kunnen worden gebruikt als krachtige, algemene informatieverwerkingstools – tools die niet afhankelijk zijn van de kennis waarop het AI-model oorspronkelijk is getraind of de toepassingen waarvoor het model is getraind. Dit vereist dat we de AI-modellen op een heel andere manier gebruiken: programmeren in plaats van chatten, nieuwe gegevens in plaats van training. Maar het opent de weg voor AI om een ​​algemeen doel te worden in plaats van gespecialiseerd, en meer een ‘alles-instrument’.

Hoe zijn we hier gekomen?

Grondbeginselen: waarschijnlijkheid, gradiëntdaling en fijnafstemming

Laten we even stilstaan ​​bij de manier waarop de LLM’s die generatieve AI aansturen, werken en hoe ze worden opgeleid.

LLM’s zoals GPT4 zijn probabilistisch; ze nemen een input en voorspellen de waarschijnlijkheid van woorden en zinsneden die betrekking hebben op die input. Vervolgens genereren ze een output die het meest waarschijnlijk geschikt is gezien de input. Het is als een zeer geavanceerde automatische aanvulling: neem wat tekst en geef me wat er daarna komt. Fundamenteel betekent dit dat generatieve AI niet leeft in een context van ‘goed en kwaad’, maar eerder ‘steeds minder waarschijnlijk’.

Probabilistisch zijn heeft sterke en zwakke punten. De zwakke punten zijn bekend: generatieve AI kan onvoorspelbaar en onnauwkeurig zijn en niet alleen slechte resultaten opleveren, maar deze ook produceren op manieren die u nooit zou verwachten. Maar het betekent ook dat de AI onvoorspelbaar krachtig en flexibel kan zijn op manieren die traditionele, op regels gebaseerde systemen niet kunnen zijn. We moeten die willekeur alleen op een nuttige manier vormgeven.

Hier is een analogie. Vóór de kwantummechanica dachten natuurkundigen dat het universum op voorspelbare, deterministische manieren werkte. De willekeur van de kwantumwereld kwam in eerste instantie als een schok, maar we leerden de kwantumvreemdheid te omarmen en deze vervolgens praktisch te gebruiken. Kwantumtunneling is fundamenteel stochastisch, maar kan zo worden geleid dat deeltjes in voorspelbare patronen springen. Dit heeft geleid tot halfgeleiders en de chips die het apparaat waarop je dit artikel leest van stroom voorzien. Accepteer niet zomaar dat God dobbelt met het universum; leer hoe je de dobbelstenen moet laden.

Hetzelfde geldt voor AI. We trainen de neurale netwerken waarvan LLM’s zijn gemaakt met behulp van een techniek die ‘gradiëntafdaling’ wordt genoemd. Gradiëntdaling kijkt naar de outputs die een model produceert, vergelijkt die met trainingsgegevens en berekent vervolgens een ‘richting’ om de parameters van het neurale netwerk aan te passen, zodat de outputs ‘meer’ correct worden, dat wil zeggen, meer op de trainingsgegevens gaan lijken de AI wordt gegeven. In het geval van onze magische automatische aanvulling betekent een correcter antwoord uitvoertekst die waarschijnlijker de invoer volgt.

Probabilistische wiskunde is een geweldige manier voor computers om met woorden om te gaan; berekenen hoe waarschijnlijk het is dat sommige woorden andere woorden volgen, is gewoon tellen, en ‘hoeveel’ is voor een computer een stuk gemakkelijker om mee te werken dan ‘meer goed of meer fout’. Produceer output, vergelijk met de trainingsgegevens en pas aan. Spoel af en herhaal, maak veel kleine, stapsgewijze verbeteringen, en uiteindelijk verander je een neuraal netwerk dat wartaal uitspuugt in iets dat samenhangende zinnen produceert. En deze techniek kan ook worden aangepast aan afbeeldingen, DNA-sequenties en meer.