Du kan nu træne ChatGPT på dine egne dokumenter via API

Tirsdag annoncerede OpenAI finjustering af GPT-3.5 Turbo – AI-modellen, der driver den gratis version af ChatGPT – gennem dens API. Det giver mulighed for at træne modellen med brugerdefinerede data, såsom virksomhedsdokumenter eller projektdokumentation. OpenAI hævder, at en finjusteret model kan yde lige så godt som GPT-4 med lavere omkostninger i visse scenarier.

Så dybest set lærer finjustering GPT-3.5 Turbo om tilpasset indhold, såsom projektdokumentation eller enhver anden skriftlig reference. Det kan være nyttigt, hvis du vil bygge en AI-assistent baseret på GPT-3.5, der er fortrolig med dit produkt eller din tjeneste, men som mangler kendskab til det i dens træningsdata (som, som en påmindelse, blev skrabet af nettet før kl. september 2021).

“Siden udgivelsen af ​​GPT-3.5 Turbo har udviklere og virksomheder bedt om muligheden for at tilpasse modellen for at skabe unikke og differentierede oplevelser for deres brugere,” skriver OpenAI på sin reklameblog . “Med denne lancering kan udviklere nu køre overvåget finjustering for at få denne model til at yde bedre til deres anvendelsestilfælde.”

Mens GPT-4 , den mere kraftfulde fætter til GPT-3.5, er kendt som en generalist, der kan tilpasses mange emner, er den langsommere og dyrere at køre. OpenAI pitcher 3.5 finjustering som en måde at få GPT-4-lignende ydeevne i et specifikt videndomæne til en lavere pris og hurtigere eksekveringstid. “Tidlige tests har vist, at en finjusteret version af GPT-3.5 Turbo kan matche eller endda udkonkurrere, basere GPT-4-niveauegenskaber på visse snævre opgaver,” skriver de.

OpenAI siger også, at finjusterede modeller giver “forbedret styring”, hvilket betyder, at man følger instruktionerne bedre; “pålidelig outputformatering”, som forbedrer modellens evne til konsekvent at udskrive tekst i et format såsom API-kald eller JSON; og “brugerdefineret tone”, som kan indbage en tilpasset smag eller personlighed til en chatbot.

OpenAI siger, at finjustering giver brugerne mulighed for at forkorte deres prompter og kan spare penge i OpenAI API-kald, som faktureres pr. token. “Tidlige testere har reduceret promptstørrelsen med op til 90 % ved at finjustere instruktionerne i selve modellen,” siger OpenAI. Lige nu er kontekstlængden for finjustering sat til 4K tokens, men OpenAI siger, at finjusteringen vil udvide til 16k tokenmodellen “ senere i efteråret.”

Brug af dine egne data koster

På nuværende tidspunkt undrer du dig måske over, hvordan det fungerer at bruge dine egne data til at træne GPT-3.5 – og hvad det koster. OpenAI udlægger en forenklet proces på sin blog, der viser opsætning af en systemprompt med API’et, upload af filer til OpenAI til træning og oprettelse af et finjusteringsjob ved hjælp af kommandolinjeværktøjet curl til at forespørge på en API- webadresse . Når finjusteringsprocessen er færdig, siger OpenAI, at den tilpassede model er tilgængelig til brug med det samme med de samme hastighedsgrænser som basismodellen. Flere detaljer kan findes i OpenAIs officielle dokumentation .

Alt dette kommer selvfølgelig til en pris, og det er opdelt i uddannelsesomkostninger og brugsomkostninger. At træne GPT-3.5 koster $0,008 per 1.000 tokens. I brugsfasen koster API-adgang $0,012 pr. 1.000 tokens for tekstinput og $0,016 pr. 1.000 tokens for tekstoutput.

Til sammenligning koster den grundlæggende 4K GPT-3.5 Turbo-model 0,0015 USD pr. Og mens GPT-4s 8K kontekstmodel også er billigere til $0,03 pr. 1K tokens input og $0,06 pr 1K tokens output, hævder OpenAI stadig, at der kan spares penge på grund af det reducerede behov for prompting i den finjusterede model. Det er et stræk, men i snævre tilfælde kan det være gældende.

Selv til en højere pris kan undervisning i GPT-3.5 om brugerdefinerede dokumenter være prisen værd for nogle mennesker – hvis du kan forhindre modellen i at finde på noget om det. Tilpasning er én ting, men at stole på nøjagtigheden og pålideligheden af ​​GPT-3.5 Turbo-output i et produktionsmiljø er en helt anden sag. GPT-3.5 er kendt for sin tendens til at konfabulere information.

Med hensyn til databeskyttelse bemærker OpenAI, at som med alle dets API’er, bliver data sendt ind og ud af finjusterings-API’en ikke brugt af OpenAI (eller nogen anden) til at træne AI-modeller. Interessant nok vil OpenAI sende alle kunde finjusterende træningsdata gennem GPT-4 til moderationsformål ved hjælp af dets nyligt annoncerede moderation API. Det kan stå for nogle af omkostningerne ved at bruge finjusteringstjenesten.

Og hvis 3.5 ikke er godt nok for dig, siger OpenAI, at finjustering til GPT-4 kommer til efteråret. Fra vores erfaring er det, at GPT-4 ikke fylder så meget, men at finjustere den model (eller de rygtede 8 modeller, der arbejder sammen under motorhjelmen) vil sandsynligvis være langt dyrere. Vi må se, når tiden kommer.