Du kan nu träna ChatGPT på dina egna dokument via API

På tisdagen tillkännagav OpenAI finjustering för GPT-3.5 Turbo – AI-modellen som driver den fria versionen av ChatGPT – genom dess API. Det tillåter träning av modellen med anpassade data, såsom företagsdokument eller projektdokumentation. OpenAI hävdar att en finjusterad modell kan prestera lika bra som GPT-4 med lägre kostnad i vissa scenarier.

Så i grund och botten lär finjustering GPT-3.5 Turbo om anpassat innehåll, såsom projektdokumentation eller någon annan skriftlig referens. Det kan vara praktiskt om du vill bygga en AI-assistent baserad på GPT-3.5 som är väl bekant med din produkt eller tjänst men saknar kunskap om den i sin träningsdata (som, som en påminnelse, skrapades bort från webben före kl. september 2021).

”Sedan lanseringen av GPT-3.5 Turbo har utvecklare och företag bett om möjligheten att anpassa modellen för att skapa unika och differentierade upplevelser för sina användare”, skriver OpenAI på sin reklamblogg . ”Med den här lanseringen kan utvecklare nu köra övervakad finjustering för att få den här modellen att prestera bättre för sina användningsfall.”

Medan GPT-4 , den mer kraftfulla kusinen till GPT-3.5, är känd som en generalist som kan anpassas till många ämnen, är den långsammare och dyrare att köra. OpenAI presenterar 3.5-finjustering som ett sätt att få GPT-4-liknande prestanda i en specifik kunskapsdomän till en lägre kostnad och snabbare exekveringstid. ”Tidiga tester har visat att en finjusterad version av GPT-3.5 Turbo kan matcha, eller till och med överträffa, baskapaciteter på GPT-4-nivå på vissa smala uppgifter,” skriver de.

OpenAI säger också att finjusterade modeller ger ”förbättrad styrbarhet”, vilket innebär att följa instruktionerna bättre; ”pålitlig utdataformatering”, vilket förbättrar modellens förmåga att konsekvent mata ut text i ett format som API-anrop eller JSON; och ”anpassad ton”, som kan baka in en anpassad smak eller personlighet till en chatbot.

OpenAI säger att finjustering tillåter användare att förkorta sina meddelanden och kan spara pengar i OpenAI API-anrop, som faktureras per token. ”Tidiga testare har minskat promptstorleken med upp till 90 % genom att finjustera instruktionerna i själva modellen”, säger OpenAI. Just nu är kontextlängden för finjustering satt till 4K-tokens, men OpenAI säger att finjusteringen kommer att sträcka sig till 16k-tokenmodellen ” senare i höst.”

Att använda din egen data kostar

Vid det här laget kanske du undrar hur det fungerar att använda din egen data för att träna GPT-3.5 – och vad det kostar. OpenAI lägger ut en förenklad process på sin blogg som visar hur man ställer in en systemprompt med API, laddar upp filer till OpenAI för utbildning och skapar ett finjusteringsjobb med hjälp av kommandoradsverktyget curl för att fråga en API- webbadress . När finjusteringsprocessen är klar säger OpenAI att den anpassade modellen är tillgänglig för användning omedelbart med samma hastighetsgränser som basmodellen. Mer information finns i OpenAI:s officiella dokumentation .

Allt detta kommer naturligtvis till ett pris, och det är uppdelat i utbildningskostnader och användningskostnader. Att träna GPT-3.5 kostar $0,008 per 1 000 tokens. Under användningsfasen kostar API-åtkomst $0,012 per 1 000 tokens för textinmatning och $0,016 per 1 000 tokens för textutmatning.

Som jämförelse kostar basmodellen 4K GPT-3.5 Turbo 0,0015 USD per 1 000 inmatade tokens och 0,002 USD per 1 000 token, så den finjusterade modellen är ungefär åtta gånger dyrare att köra. Och även om GPT-4:s 8K-kontextmodell också är billigare till $0,03 per 1K-tokens ingång och $0,06 per 1K-tokensutgång, hävdar OpenAI fortfarande att pengar kan sparas på grund av det minskade behovet av prompt i den finjusterade modellen. Det är en sträcka, men i trånga fall kan det gälla.

Även till en högre kostnad kan det vara värt priset för vissa att lära ut GPT-3.5 om anpassade dokument – ​​om du kan hindra modellen från att hitta på saker om den. Anpassning är en sak, men att lita på noggrannheten och tillförlitligheten hos GPT-3.5 Turbo-utgångar i en produktionsmiljö är en helt annan sak. GPT-3.5 är välkänt för sin tendens att konfabulera information.

När det gäller datasekretess noterar OpenAI att som med alla dess API:er, används inte data som skickas in och ut från finjusterings-API:et av OpenAI (eller någon annan) för att träna AI-modeller. Intressant nog kommer OpenAI att skicka all kundfinjusterande träningsdata genom GPT-4 för modereringsändamål med hjälp av dess nyligen tillkännagivna modererings-API. Det kan stå för en del av kostnaden för att använda finjusteringstjänsten.

Och om 3.5 inte är tillräckligt bra för dig, säger OpenAI att finjustering för GPT-4 kommer i höst. Av vår erfarenhet, att GPT-4 inte gör upp saker så mycket, men att finjustera den modellen (eller de ryktade 8 modellerna som arbetar tillsammans under huven) kommer sannolikt att bli mycket dyrare. Vi får se när det är dags.