Voit nyt kouluttaa ChatGPT:tä omilla asiakirjoillasi API:n kautta

Tiistaina OpenAI ilmoitti hienosäädöstä GPT-3.5 Turbolle – tekoälymallille, joka toimii ChatGPT:n ilmaisversiossa – API:n kautta. Se mahdollistaa mallin koulutuksen mukautetuilla tiedoilla, kuten yritysasiakirjoilla tai projektidokumentaatiolla. OpenAI väittää, että hienosäädetty malli voi toimia yhtä hyvin kuin GPT-4 pienemmillä kustannuksilla tietyissä skenaarioissa.

Eli periaatteessa hienosäätö opettaa GPT-3.5 Turboa mukautetusta sisällöstä, kuten projektidokumentaatiosta tai muista kirjallisista viitteistä. Siitä voi olla hyötyä, jos haluat rakentaa GPT-3.5:een perustuvan tekoälyavustajan, joka tuntee tuotteesi tai palvelusi läheisesti, mutta jolla ei ole tietoa siitä koulutustiedoissaan (jotka, muistutuksena, kaavittiin verkosta ennen syyskuuta 2021).

”GPT-3.5 Turbon julkaisusta lähtien kehittäjät ja yritykset ovat pyytäneet mahdollisuutta mukauttaa mallia luodakseen ainutlaatuisia ja erilaisia ​​kokemuksia käyttäjilleen”, OpenAI kirjoittaa promootioblogissaan . ”Tämän julkaisun myötä kehittäjät voivat nyt suorittaa valvottua hienosäätöä, jotta tämä malli toimisi paremmin heidän käyttötapauksissaan.”

Vaikka GPT-4 , GPT-3.5:n tehokkaampi serkku, tunnetaan yleisesti moniin aiheisiin mukautuvana, se on hitaampaa ja kalliimpaa käyttää. OpenAI esittelee 3.5:n hienosäätöä keinona saada GPT-4:n kaltainen suorituskyky tietyllä tietoalueella halvemmalla ja nopeammalla suoritusajalla. ”Varhaiset testit ovat osoittaneet, että GPT-3.5 Turbon hienosäädetty versio voi vastata GPT-4-tason perusominaisuuksia tai jopa ylittää ne tietyissä kapeissa tehtävissä”, he kirjoittavat.

Lisäksi OpenAI sanoo, että hienosäädetyt mallit tarjoavat ”paremman ohjattavuuden”, mikä tarkoittaa ohjeiden parempaa noudattamista; ”luotettava tulosteen muotoilu”, joka parantaa mallin kykyä tulostaa tekstiä johdonmukaisesti muodossa, kuten API-kutsut tai JSON; ja ”mukautettu sävy”, joka voi tuoda chatbotille mukautetun maun tai persoonallisuuden.

OpenAI sanoo, että hienosäädön avulla käyttäjät voivat lyhentää kehotteitaan ja säästää rahaa OpenAI API -kutsuissa, jotka laskutetaan per token. ”Varhaiset testaajat ovat pienentäneet kehotteen kokoa jopa 90 % hienosäätämällä ohjeita itse malliin”, OpenAI sanoo. Tällä hetkellä hienosäädön kontekstin pituus on asetettu 4K-tokeneihin, mutta OpenAI sanoo, että hienosäätö ulottuu 16k-merkkiseen malliin ”myöhemmin tänä syksynä”.

Omien tietojen käyttö maksaa

Tähän mennessä saatat ihmetellä, kuinka omien tietojen käyttäminen GPT-3.5:n harjoittamiseen toimii – ja mitä se maksaa. OpenAI esittelee blogissaan yksinkertaistetun prosessin, jossa näytetään järjestelmäkehotteen määrittäminen API:lla, tiedostojen lataaminen OpenAI:hen koulutusta varten ja hienosäätötyön luominen komentorivityökalun curlilla API-verkko-osoitteen kyselyä varten . Kun hienosäätöprosessi on valmis, OpenAI sanoo, että räätälöity malli on heti käytettävissä samoilla nopeusrajoituksilla kuin perusmalli. Lisätietoja on OpenAI:n virallisessa dokumentaatiossa .

Kaikella tällä on tietysti hintansa, ja se on jaettu koulutus- ja käyttökustannuksiin. GPT-3.5:n kouluttaminen maksaa 0,008 dollaria per 1 000 merkkiä. Käyttövaiheen aikana API-käyttö maksaa 0,012 dollaria per 1 000 merkkiä tekstinsyötössä ja 0,016 dollaria per 1 000 merkkiä tekstin tulostuksessa.

Vertailun vuoksi 4K GPT-3.5 Turbo -perusmalli maksaa 0,0015 dollaria 1 000 merkin syöttöä kohden ja 0,002 dollaria 1 000 merkkiä kohden, joten hienosäädetty malli on noin kahdeksan kertaa kalliimpi käyttää. Ja vaikka GPT-4:n 8K-kontekstimalli on myös halvempi, 0,03 dollaria per 1 000 tokenin syöttö ja 0,06 dollaria per 1 000 tokenin tuotto, OpenAI väittää edelleen, että rahaa voidaan säästää, koska hienosäädetyssä mallissa on vähemmän kehotuksia. Se on venytys, mutta kapeissa tapauksissa se voi päteä.

Joillekin ihmisille GPT-3.5:n opettaminen mukautetuista asiakirjoista voi olla kalliimmillaankin hintansa arvoista – jos pystyt estämään mallin keksimästä asioita. Räätälöinti on yksi asia, mutta luottaminen GPT-3.5 Turbo -lähtöjen tarkkuuteen ja luotettavuuteen tuotantoympäristössä on kokonaan toinen asia. GPT-3.5 tunnetaan taipumuksestaan ​​sekoittaa tietoja.

Tietosuojasta OpenAI huomauttaa, että kuten kaikkien sen sovellusliittymien kohdalla, OpenAI (tai kukaan muu ) ei käytä hienosäätösovellusliittymään lähetettyä dataa tekoälymallien kouluttamiseen. Mielenkiintoista on, että OpenAI lähettää kaikki asiakkaiden hienosäätötiedot GPT-4:n kautta moderointia varten käyttämällä äskettäin julkistettua moderointisovellusliittymää. Tämä saattaa aiheuttaa osan hienosäätöpalvelun käytön kustannuksista.

Ja jos 3.5 ei ole tarpeeksi hyvä sinulle, OpenAI sanoo, että GPT-4:n hienosäätö on tulossa tänä syksynä. Kokemuksemme mukaan GPT-4 ei tee asioita niin paljon, mutta tämän mallin hienosäätö (tai huhuttujen 8 mallia, jotka toimivat yhdessä konepellin alla) on todennäköisesti paljon kalliimpaa. Pitää katsoa kun sen aika koittaa.