Możesz teraz trenować ChatGPT na własnych dokumentach za pośrednictwem API

We wtorek OpenAI ogłosiło udoskonalenie GPT-3.5 Turbo – modelu AI, który obsługuje bezpłatną wersję ChatGPT – za pośrednictwem swojego API. Umożliwia szkolenie modelu z wykorzystaniem niestandardowych danych, takich jak dokumenty firmowe czy dokumentacja projektowa. OpenAI twierdzi, że w niektórych scenariuszach dopracowany model może działać równie dobrze jak GPT-4 przy niższych kosztach.

Zasadniczo dostrajanie uczy GPT-3.5 Turbo o niestandardowych treściach, takich jak dokumentacja projektowa lub inne pisemne odniesienia. Może się to przydać, jeśli chcesz zbudować asystenta AI opartego na GPT-3.5, który jest dobrze zaznajomiony z Twoim produktem lub usługą, ale brakuje mu wiedzy na ten temat w swoich danych szkoleniowych (które, dla przypomnienia, zostały zeskrobane z sieci przed wrzesień 2021).

„Od czasu premiery GPT-3.5 Turbo programiści i firmy prosiły o możliwość dostosowania modelu, aby zapewnić użytkownikom unikalne i zróżnicowane doświadczenia” – pisze OpenAI na swoim blogu promocyjnym . „Dzięki tej premierze programiści mogą teraz przeprowadzać nadzorowane dostrajanie, aby model ten działał lepiej w swoich przypadkach użycia”.

Chociaż GPT-4 , potężniejszy kuzyn GPT-3.5, jest dobrze znany jako narzędzie uniwersalne, które można dostosować do wielu tematów, jest wolniejszy i droższy w obsłudze. OpenAI proponuje dostrojenie wersji 3.5 jako sposób na uzyskanie wydajności podobnej do GPT-4 w określonej domenie wiedzy przy niższych kosztach i krótszym czasie realizacji. „Wczesne testy wykazały, że dopracowana wersja GPT-3.5 Turbo może równać się lub nawet przewyższać podstawowe możliwości poziomu GPT-4 w niektórych wąskich zadaniach” – piszą.

Ponadto OpenAI twierdzi, że dopracowane modele zapewniają „lepszą sterowność”, co oznacza lepsze przestrzeganie instrukcji; „niezawodne formatowanie wyjściowe”, które poprawia zdolność modelu do spójnego wyprowadzania tekstu w formacie takim jak wywołania API lub JSON; oraz „niestandardowy ton”, który może nadać chatbotowi niestandardowy charakter lub osobowość.

OpenAI twierdzi, że dostrojenie pozwala użytkownikom skrócić monity i zaoszczędzić pieniądze na wywołaniach API OpenAI, które są rozliczane za token. „Wcześni testerzy zmniejszyli rozmiar podpowiedzi nawet o 90%, dopasowując instrukcje do samego modelu” – mówi OpenAI. W tej chwili długość kontekstu do dostrajania jest ustalona na 4 tys. tokenów, ale OpenAI twierdzi, że dostrajanie obejmie model tokenów 16 tys. „później tej jesieni”.

Korzystanie z własnych danych wiąże się z kosztami

Być może zastanawiasz się już, jak działa używanie własnych danych do uczenia GPT-3.5 i ile to kosztuje. OpenAI przedstawia na swoim blogu uproszczony proces, który pokazuje konfigurowanie wiersza poleceń za pomocą interfejsu API, przesyłanie plików do OpenAI w celu szkolenia i tworzenie zadania dostrajania za pomocą narzędzia wiersza poleceń curl w celu wysłania zapytania do adresu internetowego interfejsu API . OpenAI twierdzi, że po zakończeniu procesu dostrajania dostosowany model jest natychmiast dostępny do użytku z tymi samymi limitami szybkości, co model podstawowy. Więcej szczegółów można znaleźć w oficjalnej dokumentacji OpenAI .

Wszystko to ma oczywiście swoją cenę, która dzieli się na koszty szkolenia i koszty użytkowania. Wyszkolenie GPT-3.5 kosztuje 0,008 USD za 1000 tokenów. Na etapie użytkowania dostęp do interfejsu API kosztuje 0,012 USD za 1000 tokenów do wprowadzania tekstu i 0,016 USD za 1000 tokenów do wysyłania tekstu.

Dla porównania, podstawowy model 4K GPT-3.5 Turbo kosztuje 0,0015 USD za 1000 tokenów wejściowych i 0,002 USD za 1000 tokenów wyjściowych, zatem dopracowany model jest około osiem razy droższy w obsłudze. I chociaż model kontekstowy 8 tys. tokenów GPT-4 jest również tańszy i wynosi 0,03 USD za 1 tys. tokenów wejściowych i 0,06 USD za 1 tys. tokenów wyjściowych, OpenAI nadal twierdzi, że pieniądze można zaoszczędzić dzięki zmniejszonej potrzebie podpowiedzi w dopracowanym modelu. Jest to naciągane, ale w wąskich przypadkach może mieć zastosowanie.

Nawet przy wyższych kosztach nauczenie GPT-3.5 o niestandardowych dokumentach może być warte swojej ceny dla niektórych osób – jeśli uda ci się powstrzymać modela od zmyślania na ten temat. Dostosowywanie to jedno, ale zaufanie do dokładności i niezawodności wyjść GPT-3.5 Turbo w środowisku produkcyjnym to zupełnie inna sprawa. GPT-3.5 jest dobrze znany ze swojej tendencji do konfabulacji informacji.

Jeśli chodzi o prywatność danych , OpenAI zauważa, że ​​podobnie jak w przypadku wszystkich interfejsów API, dane wysyłane do i z interfejsu API dostrajania nie są wykorzystywane przez OpenAI (ani kogokolwiek innego) do uczenia modeli sztucznej inteligencji. Co ciekawe, OpenAI będzie wysyłać wszystkie dane szkoleniowe klientów dotyczące dostrajania poprzez GPT-4 w celach moderacyjnych, korzystając z niedawno ogłoszonego API moderacji. Może to stanowić część kosztów korzystania z usługi dostrajania.

A jeśli wersja 3.5 nie jest dla Ciebie wystarczająco dobra, OpenAI twierdzi, że poprawki dla GPT-4 nadejdą tej jesieni. Z naszego doświadczenia wynika, że ​​GPT-4 nie zmyśla aż tak bardzo, ale dostrojenie tego modelu (lub podobno 8 modeli współpracujących pod maską) będzie prawdopodobnie znacznie droższe. Musimy zobaczyć, kiedy nadejdzie czas.