Nüüd saate API kaudu oma dokumentide jaoks ChatGPT-d koolitada

Teisipäeval teatas OpenAI GPT-3.5 Turbo – tehisintellekti mudeli, mis toidab ChatGPT tasuta versiooni – peenhäälestusest selle API kaudu. See võimaldab koolitada mudelit kohandatud andmetega, nagu ettevõtte dokumendid või projekti dokumentatsioon. OpenAI väidab, et peenhäälestatud mudel võib teatud stsenaariumide korral toimida sama hästi kui GPT-4 madalamate kuludega.

Põhimõtteliselt õpetab peenhäälestus GPT-3.5 Turbole kohandatud sisu, näiteks projekti dokumentatsiooni või muid kirjalikke viiteid. See võib olla kasulik, kui soovite luua GPT-3.5-l põhinevat tehisintellekti assistenti, mis on teie toote või teenusega põhjalikult tuttav, kuid ei tea seda oma koolitusandmetes (mis meeldetuletuseks kaabiti veebist enne september 2021).

“Alates GPT-3.5 Turbo väljalaskmisest on arendajad ja ettevõtted taotlenud võimalust mudelit kohandada, et luua oma kasutajatele ainulaadseid ja eristavaid kogemusi,” kirjutab OpenAI oma reklaamblogis . “Selle käivitamisega saavad arendajad nüüd järelevalvega peenhäälestada, et muuta see mudel nende kasutusjuhtudel paremini toimima.”

Kuigi GPT-4 , GPT-3.5 võimsam nõbu, on üldtuntud kui paljudele teemadele kohandatav, on selle käitamine aeglasem ja kulukam. OpenAI pakub 3.5 peenhäälestust, et saavutada GPT-4-laadne jõudlus konkreetses teadmistevaldkonnas madalamate kuludega ja kiirema täitmisajaga. “Varasemad testid on näidanud, et GPT-3.5 Turbo peenhäälestatud versioon suudab teatud kitsastes ülesannetes ühtida või isegi ületada GPT-4-taseme baasvõimalusi,” kirjutavad nad.

Lisaks ütleb OpenAI, et peenhäälestatud mudelid tagavad “parema juhitavuse”, mis tähendab juhiste paremat järgimist; “usaldusväärne väljundi vorming”, mis parandab mudeli võimet järjepidevalt teksti väljastada sellises vormingus nagu API-kutsed või JSON; ja “kohandatud toon”, mis võib vestlusbotile kujundada kohandatud maitse või isikupära.

OpenAI ütleb, et peenhäälestus võimaldab kasutajatel oma viipasid lühendada ja säästa raha OpenAI API kõnede puhul, mille eest tasutakse loa kohta. “Varasemad testijad on mudeli enda juhiseid viimistledes vähendanud viipa suurust kuni 90% võrra,” ütleb OpenAI. Praegu on peenhäälestuse konteksti pikkuseks määratud 4K märgid, kuid OpenAI sõnul laieneb peenhäälestus 16 000 märgi mudelile “hiljem sel sügisel”.

Enda andmete kasutamine on tasuline

Nüüdseks võite mõelda, kuidas oma andmete kasutamine GPT-3.5 koolitamiseks toimib ja mis see maksab. OpenAI kirjeldab oma ajaveebis lihtsustatud protsessi, mis näitab API-ga süsteemiviipa seadistamist, failide üleslaadimist OpenAI-sse koolituseks ja peenhäälestustöö loomist, kasutades API veebiaadressi päringu tegemiseks käsurea tööriista curl . Kui peenhäälestusprotsess on lõpule jõudnud, ütleb OpenAI, et kohandatud mudel on kohe kasutamiseks saadaval samade kiiruspiirangutega kui baasmudel. Lisateavet leiate OpenAI ametlikust dokumentatsioonist .

Sellel kõigel on muidugi oma hind ja see jaguneb koolituskuludeks ja kasutuskuludeks. GPT-3.5 koolitamine maksab 0,008 dollarit 1000 märgi kohta. Kasutusfaasis maksab API juurdepääs 0,012 dollarit 1000 märgi kohta tekstisisestuse ja 0,016 dollarit 1000 märgi kohta teksti väljastamisel.

Võrdluseks, 4K GPT-3.5 Turbo baasmudel maksab 0,0015 dollarit 1000 märgi sisendi kohta ja 0,002 dollarit 1000 märgi väljundi kohta, seega on peenhäälestatud mudeli käitamine umbes kaheksa korda kallim. Ja kuigi GPT-4 8K kontekstimudel on ka odavam – 0,03 dollarit 1000 märgi sisendi kohta ja 0,06 dollarit 1K märgi väljundi kohta, siis OpenAI väidab endiselt, et raha saab säästa, kuna peenhäälestatud mudelis on viipade vajadus vähenenud. See on veniv, kuid kitsastel juhtudel võib see kehtida.

Isegi suurema kulu korral võib GPT-3.5 õpetamine kohandatud dokumentide kohta olla mõne inimese jaoks oma hinda väärt – kui suudate hoida mudelit selle kohta midagi välja mõtlemast. Kohandamine on üks asi, kuid GPT-3.5 Turbo väljundite täpsuse ja töökindluse usaldamine tootmiskeskkonnas on hoopis teine ​​asi. GPT-3.5 on tuntud oma kalduvuse poolest teavet segada.

Andmete privaatsuse osas märgib OpenAI, et nagu kõigi selle API-de puhul, ei kasuta OpenAI (ega keegi teine) AI mudelite koolitamiseks peenhäälestusliidese sisse ja sealt välja saadetud andmeid. Huvitav on see, et OpenAI saadab kõik klientide peenhäälestusandmed GPT-4 kaudu modereerimise eesmärgil, kasutades oma hiljuti väljakuulutatud modereerimise API-d. See võib moodustada osa peenhäälestusteenuse kasutamise kuludest.

Ja kui 3.5 ei ole teie jaoks piisavalt hea, ütleb OpenAI, et GPT-4 peenhäälestus tuleb sel sügisel. Meie kogemused näitavad, et GPT-4 ei loo asju nii palju, kuid selle mudeli peenhäälestus (või kuulujutud 8 mudelit , mis töötavad koos kapoti all) on tõenäoliselt palju kallim. Peame vaatama, kui aeg käes.