Kuinka ChatGPT muutti generatiivisen tekoälyn ”mitä tahansa työkaluksi”

Robotiikan startup-yrityksen teknologiajohtaja kertoi minulle aiemmin tänä vuonna: ”Ajattelimme, että meidän on tehtävä paljon työtä ”ChatGPT for robotics” rakentamiseksi. Sen sijaan käy ilmi, että ChatGPT on monissa tapauksissa robotiikan ChatGPT.”

Viime aikoihin asti tekoälymallit olivat erikoistyökaluja. Tekoälyn käyttäminen tietyllä alueella, kuten robotiikassa, merkitsi aikaa ja rahaa luoda tekoälymalleja nimenomaan ja vain tälle alueelle. Esimerkiksi Googlen AlphaFold, tekoälymalli proteiinin laskostumisen ennustamiseen, on koulutettu käyttämällä proteiinin rakennetietoja, ja se on hyödyllinen vain proteiinirakenteiden kanssa työskentelyssä.

Joten tämä perustaja ajatteli, että hyötyäkseen generatiivisesta tekoälystä robotiikkayrityksen olisi luotava omat erikoistuneet generatiiviset tekoälymallit robotiikkaan. Sen sijaan tiimi havaitsi, että monissa tapauksissa he voisivat käyttää valmiita ChatGPT:tä robottien ohjaamiseen ilman, että tekoälyä olisi koskaan erityisesti koulutettu siihen.

Olen kuullut samankaltaisia ​​asioita teknisteiltä, ​​jotka työskentelevät kaiken parissa sairausvakuutuksesta puolijohdesuunnitteluun. Luodakseen ChatGPT:n, chatbotin, jonka avulla ihmiset voivat käyttää generatiivista tekoälyä yksinkertaisesti keskustelemalla, OpenAI:n täytyi muuttaa suuria kielimalleja (LLM), kuten GPT3, reagoidakseen paremmin ihmisten vuorovaikutukseen.

Mutta ehkä vahingossa nämä samat muutokset antavat GPT3:n seuraajia, kuten GPT3.5:tä ja GPT4:ää, käyttää tehokkaina, yleiskäyttöisinä tiedonkäsittelytyökaluina – työkaluina, jotka eivät ole riippuvaisia ​​tiedosta, jota tekoälymalli alun perin opetettiin. sovellukset, joihin malli on koulutettu. Tämä edellyttää tekoälymallien käyttämistä täysin eri tavalla – ohjelmointia chattauksen sijaan, uutta dataa harjoittelun sijaan. Mutta se avaa tien AI:lle tulla yleiskäyttöiseksi erikoistuneen sijaan, enemmän ”mitä tahansa työkaluksi”.

Kuinka me päädyimme tänne?

Perusteet: Todennäköisyys, kaltevuuslasku ja hienosäätö

Katsotaanpa hetki, kuinka luovaa tekoälyä käyttävät LLM:t toimivat ja miten heitä koulutetaan.

LLM:t, kuten GPT4, ovat todennäköisyyspohjaisia; he ottavat syötteen ja ennustavat tähän syötteeseen liittyvien sanojen ja lauseiden todennäköisyyden. Sitten ne tuottavat tulosteen, joka on todennäköisimmin sopiva syötteen perusteella. Se on kuin erittäin hienostunut automaattinen täydennys: ota tekstiä ja kerro minulle, mitä tulee seuraavaksi. Pohjimmiltaan se tarkoittaa, että generatiivinen tekoäly ei elä ”oikean ja väärän” kontekstissa, vaan ”enemmän ja vähemmän todennäköisemmin”.

Todennäköisyydellä on vahvuuksia ja heikkouksia. Heikkoudet ovat hyvin tiedossa: Generatiivinen tekoäly voi olla arvaamatonta ja epätäsmällistä, ja se on taipuvainen paitsi tuottamaan huonoja tuloksia myös tavalla, jota et koskaan odottaisi. Mutta se tarkoittaa myös, että tekoäly voi olla arvaamattoman tehokas ja joustava tavoilla, joita perinteiset sääntöpohjaiset järjestelmät eivät voi olla. Meidän täytyy vain muokata tuota satunnaisuutta hyödyllisellä tavalla.

Tässä on analogia. Ennen kvanttimekaniikkaa fyysikot ajattelivat, että maailmankaikkeus toimi ennustettavilla, deterministisilla tavoilla. Kvanttimaailman satunnaisuus yllätti aluksi, mutta opimme ottamaan vastaan ​​kvanttiomituisuuksia ja sitten käyttämään sitä käytännössä. Kvanttitunnelointi on pohjimmiltaan stokastista, mutta sitä voidaan ohjata niin, että hiukkaset hyppäävät ennustettavissa olevissa kuvioissa. Tämä johti puolijohteisiin ja siruihin, jotka saivat virtaa laitteeseen, josta luet tätä artikkelia. Älä vain hyväksy sitä, että Jumala pelaa noppaa universumin kanssa – opettele lataamaan noppaa.

Sama pätee tekoälyyn. Koulutamme neuroverkkoja, joista LLM:t on tehty, käyttämällä tekniikkaa, jota kutsutaan ”gradienttilaskuksi”. Gradienttilaskeutuminen tarkastelee mallin tuottamia lähtöjä, vertaa sitä harjoitustietoihin ja laskee sitten ”suunnan” säätääkseen hermoverkon parametreja niin, että lähdöt tulevat ”oikeiksi” eli näyttämään enemmän koulutustiedoista. AI on annettu. Maagisen automaattisen täydennyksen tapauksessa oikeampi vastaus tarkoittaa ulostulotekstiä, joka todennäköisemmin seuraa syötettä.

Todennäköisyyslaskenta on tietokoneille loistava tapa käsitellä sanoja; sen laskeminen, kuinka todennäköisesti jotkut sanat seuraavat toisia sanoja, on vain laskemista, ja ”kuinka monta” on paljon helpompi tietokoneen kanssa työskennellä kuin ”oikeampaa tai väärää”. Luo tulos, vertaa harjoitustietoihin ja säädä. Huuhtele ja toista tekemällä monia pieniä, asteittaisia ​​parannuksia, ja lopulta muutat höpötystä sylkevästä hermoverkosta joksikin, joka tuottaa yhtenäisiä lauseita. Ja tämä tekniikka voidaan myös mukauttaa kuviin, DNA-sekvensseihin ja muihin.