U kunt ChatGPT nu via API trainen op uw eigen documenten

Dinsdag kondigde OpenAI een verfijning aan van GPT-3.5 Turbo – het AI-model dat de gratis versie van ChatGPT aanstuurt – via zijn API. Hiermee kunt u het model trainen met aangepaste gegevens, zoals bedrijfsdocumenten of projectdocumentatie. OpenAI beweert dat een verfijnd model in bepaalde scenario’s net zo goed kan presteren als GPT-4, tegen lagere kosten.

Dus in principe leert GPT-3.5 Turbo door het verfijnen van aangepaste inhoud, zoals projectdocumentatie of andere schriftelijke referentie. Dat kan van pas komen als u een AI-assistent wilt bouwen op basis van GPT-3.5 die goed bekend is met uw product of dienst, maar er geen kennis van heeft in de trainingsgegevens (die, ter herinnering, vóór de introductie van het internet zijn geschrapt). September 2021).

“Sinds de release van GPT-3.5 Turbo hebben ontwikkelaars en bedrijven gevraagd om de mogelijkheid om het model aan te passen om unieke en gedifferentieerde ervaringen voor hun gebruikers te creëren”, schrijft OpenAI op zijn promotieblog . “Met deze lancering kunnen ontwikkelaars nu onder toezicht verfijnde aanpassingen uitvoeren om dit model beter te laten presteren voor hun gebruiksscenario’s.”

Hoewel GPT-4 , de krachtigere neef van GPT-3.5, bekend staat als een generalist die aan veel onderwerpen kan worden aangepast, is het langzamer en duurder in het gebruik. OpenAI pitcht 3.5-verfijning als een manier om GPT-4-achtige prestaties in een specifiek kennisdomein te krijgen tegen lagere kosten en een snellere uitvoeringstijd. “Eerste tests hebben aangetoond dat een verfijnde versie van GPT-3.5 Turbo de basismogelijkheden op GPT-4-niveau kan evenaren of zelfs overtreffen voor bepaalde beperkte taken”, schrijven ze.

OpenAI zegt ook dat verfijnde modellen ‘betere bestuurbaarheid’ bieden, wat betekent dat instructies beter kunnen worden gevolgd; “betrouwbare uitvoeropmaak”, wat de mogelijkheid van het model verbetert om tekst consistent uit te voeren in een indeling zoals API-aanroepen of JSON; en ‘aangepaste toon’, waarmee een aangepaste smaak of persoonlijkheid aan een chatbot kan worden toegevoegd.

OpenAI zegt dat gebruikers door fijnafstemming hun prompts kunnen inkorten en geld kunnen besparen bij OpenAI API-aanroepen, die per token worden gefactureerd. “Vroege testers hebben de promptgrootte met wel 90% verkleind door de instructies in het model zelf af te stemmen”, zegt OpenAI. Op dit moment is de contextlengte voor verfijning vastgesteld op 4K-tokens, maar OpenAI zegt dat de verfijning “later dit najaar” zal worden uitgebreid naar het 16k-tokenmodel .

Het gebruik van uw eigen gegevens brengt kosten met zich mee

U vraagt ​​zich nu misschien af ​​hoe het gebruik van uw eigen gegevens om GPT-3.5 te trainen werkt, en wat het kost. OpenAI legt op zijn blog een vereenvoudigd proces uit dat laat zien hoe je een systeemprompt instelt met de API, bestanden uploadt naar OpenAI voor training en een verfijningstaak maakt met behulp van de opdrachtregeltool curl om een ​​API-webadres op te vragen . Zodra het verfijningsproces is voltooid, zegt OpenAI dat het aangepaste model onmiddellijk beschikbaar is voor gebruik met dezelfde tarieflimieten als het basismodel. Meer details zijn te vinden in de officiële documentatie van OpenAI .

Dit alles heeft uiteraard een prijs, en deze is opgesplitst in trainingskosten en gebruikskosten. Het trainen van GPT-3.5 kost $ 0,008 per 1.000 tokens. Tijdens de gebruiksfase kost API-toegang $0,012 per 1.000 tokens voor tekstinvoer en $0,016 per 1.000 tokens voor tekstuitvoer.

Ter vergelijking: het basismodel van de 4K GPT-3.5 Turbo kost $0,0015 per 1.000 tokensinvoer en $0,002 per 1.000 tokensuitvoer, dus het verfijnde model is ongeveer acht keer duurder in gebruik. En hoewel het 8K-contextmodel van GPT-4 ook goedkoper is: $0,03 per invoer van 1K-tokens en $0,06 per uitvoer van 1K-tokens, beweert OpenAI nog steeds dat er geld kan worden bespaard vanwege de verminderde behoefte aan prompts in het verfijnde model. Het is een hele opgave, maar in kleine gevallen kan het van toepassing zijn.

Zelfs tegen hogere kosten kan het aanleren van GPT-3.5 over aangepaste documenten voor sommige mensen de prijs zeker waard zijn, als je kunt voorkomen dat het model er dingen over verzint. Aanpassen is één ding, maar vertrouwen op de nauwkeurigheid en betrouwbaarheid van GPT-3.5 Turbo-uitvoer in een productieomgeving is een heel andere zaak. GPT-3.5 staat bekend om zijn neiging om informatie te vermengen.

Met betrekking tot gegevensprivacy merkt OpenAI op dat, net als bij al zijn API’s, gegevens die in en uit de fine-tuning-API worden verzonden, niet door OpenAI (of iemand anders) worden gebruikt om AI-modellen te trainen. Interessant is dat OpenAI alle trainingsgegevens voor het verfijnen van klanten via GPT-4 zal verzenden voor moderatiedoeleinden met behulp van de onlangs aangekondigde moderatie-API. Dat kan een deel van de kosten voor het gebruik van de fijnafstemmingsdienst verklaren.

En als 3.5 niet goed genoeg voor je is, zegt OpenAI dat er dit najaar een verfijning voor GPT-4 komt. Uit onze ervaring blijkt dat GPT-4 de zaken niet zo goed verzint, maar het verfijnen van dat model (of de geruchten dat er acht modellen samenwerken onder de motorkap) zal waarschijnlijk veel duurder zijn. We zullen moeten zien wanneer de tijd daar is.