Kā ChatGPT pārvērta ģeneratīvo AI par “jebko rīku”

Robotikas jaunuzņēmuma galvenais tehnoloģiju speciālists man teica šī gada sākumā: “Mēs domājām, ka mums būs daudz jāstrādā, lai izveidotu ChatGPT robotikai. Tā vietā izrādās, ka daudzos gadījumos ChatGPT ir robotikas ChatGPT.

Vēl nesen AI modeļi bija specializēti rīki. AI izmantošana noteiktā jomā, piemēram, robotikā, nozīmēja laika un naudas tērēšanu, radot AI modeļus īpaši un tikai šai jomai. Piemēram, Google AlphaFold, AI modelis olbaltumvielu locīšanas prognozēšanai, tika apmācīts, izmantojot proteīna struktūras datus, un ir noderīgs tikai darbam ar olbaltumvielu struktūrām.

Tāpēc šis dibinātājs domāja, ka, lai gūtu labumu no ģeneratīvā AI, robotikas uzņēmumam būs jāizveido savi specializēti ģeneratīvie AI modeļi robotikai. Tā vietā komanda atklāja, ka daudzos gadījumos viņi var izmantot jau pieejamo ChatGPT, lai kontrolētu savus robotus, ja AI nekad nav tam īpaši apmācīts.

Esmu dzirdējis līdzīgas lietas no tehnologiem, kas strādā pie visa, sākot no veselības apdrošināšanas līdz pusvadītāju projektēšanai. Lai izveidotu ChatGPT — tērzēšanas robotu, kas ļauj cilvēkiem izmantot ģeneratīvo AI, vienkārši sarunājoties, OpenAI bija jāmaina lieli valodu modeļi (LLM), piemēram, GPT3, lai tie vairāk reaģētu uz cilvēku mijiedarbību.

Taču, iespējams, netīšām šīs pašas izmaiņas ļauj GPT3 pēctečiem, piemēram, GPT3.5 un GPT4, izmantot kā jaudīgus, vispārējas nozīmes informācijas apstrādes rīkus — rīkus, kas nav atkarīgi no zināšanām, uz kurām AI modelis sākotnēji tika apmācīts vai lietojumprogrammas, kurām modelis tika apmācīts. Tas prasa AI modeļu izmantošanu pavisam citā veidā — programmēšana, nevis tērzēšana, jauni dati, nevis apmācība. Bet tas paver ceļu AI kļūt par vispārēju, nevis specializētu, vairāk par “jebko rīku”.

Kā mēs šeit nokļuvām?

Pamati: varbūtība, gradienta nolaišanās un precizēšana

Pieskarsimies tam, kā darbojas LLM, kas nodrošina ģeneratīvo AI, un kā viņi tiek apmācīti.

LLM, piemēram, GPT4, ir iespējamības; viņi ņem ievadi un prognozē vārdu un frāžu iespējamību saistībā ar šo ievadi. Pēc tam tie ģenerē izvadi, kas, visticamāk, ir piemērota, ņemot vērā ievadi. Tas ir kā ļoti izsmalcināta automātiskā pabeigšana: paņemiet tekstu un pastāstiet man, kas nāks. Būtībā tas nozīmē, ka ģeneratīvais AI nedzīvo “pareizā un nepareizā” kontekstā, bet gan “arvien mazāk ticamā”.

Varbūtībai ir stiprās un vājās puses. Trūkumi ir labi zināmi: ģeneratīvais AI var būt neprognozējams un neprecīzs, un tas var ne tikai radīt sliktu rezultātu, bet arī radīt to veidā, kādu jūs nekad negaidītu. Taču tas arī nozīmē, ka mākslīgais intelekts var būt neparedzami spēcīgs un elastīgs tādā veidā, kāds nevar būt tradicionālās, uz noteikumiem balstītās sistēmas. Mums vienkārši ir jāveido šī nejaušība lietderīgā veidā.

Šeit ir līdzība. Pirms kvantu mehānikas fiziķi domāja, ka Visums darbojas paredzamā, deterministiskā veidā. Kvantu pasaules nejaušība sākumā bija šoks, bet mēs iemācījāmies pieņemt kvantu dīvainības un pēc tam tās praktiski izmantot. Kvantu tunelēšana būtībā ir stohastiska, taču to var vadīt tā, lai daļiņas lēktu paredzamos modeļos. Tas noveda pie pusvadītājiem un mikroshēmām, kas darbina ierīci, par kuru lasāt šo rakstu. Nepieņemiet tikai to, ka Dievs spēlē kauliņus ar Visumu — uzziniet, kā ielādēt kauliņus.

Tas pats attiecas uz AI. Mēs apmācām neironu tīklus, no kuriem tiek veidoti LLM, izmantojot tehniku, ko sauc par “gradienta nolaišanos”. Gradienta nolaišanās apskata modeļa radītos izvadus, salīdzina to ar apmācības datiem un pēc tam aprēķina “virzienu”, lai pielāgotu neironu tīkla parametrus tā, lai izvadi kļūtu “pareizāki”, tas ir, lai tie vairāk izskatītos pēc apmācības datiem. AI ir dota. Mūsu burvju automātiskās pabeigšanas gadījumā pareizāka atbilde nozīmē izvades tekstu, kas, visticamāk, sekos ievadei.

Varbūtības matemātika ir lielisks veids, kā datori var tikt galā ar vārdiem; Aprēķināt, cik iespējams, ka daži vārdi sekos citiem vārdiem, ir tikai skaitīšana, un datoram ir daudz vieglāk strādāt ar “cik daudz” nekā ar “vairāk pareizi vai nepareizi”. Izveidojiet rezultātu, salīdziniet ar apmācības datiem un pielāgojiet. Noskalojiet un atkārtojiet, veicot daudzus mazus, pakāpeniskus uzlabojumus, un galu galā jūs pārvērtīsit neironu tīklu, kas izpļaužas muļķībā, par kaut ko, kas rada saskaņotus teikumus. Un šo paņēmienu var pielāgot arī attēliem, DNS sekvencēm un citiem.