Nyní můžete trénovat ChatGPT na svých vlastních dokumentech přes API

V úterý OpenAI oznámilo jemné ladění pro GPT-3.5 Turbo – model AI, který pohání bezplatnou verzi ChatGPT – prostřednictvím svého API. Umožňuje trénovat model s vlastními daty, jako jsou firemní dokumenty nebo projektová dokumentace. OpenAI tvrdí, že vyladěný model může v určitých scénářích fungovat stejně dobře jako GPT-4 s nižšími náklady.

Takže v podstatě jemné ladění učí GPT-3.5 Turbo o vlastním obsahu, jako je projektová dokumentace nebo jakýkoli jiný písemný odkaz. To se může hodit, pokud chcete vytvořit asistenta umělé inteligence založeného na GPT-3.5, který je důvěrně obeznámen s vaším produktem nebo službou, ale postrádá je ve svých tréninkových datech (která, pro připomenutí, byla stažena z webu před září 2021).

„Od vydání GPT-3.5 Turbo požadovali vývojáři a firmy možnost přizpůsobit model tak, aby pro své uživatele vytvořil jedinečné a odlišné zážitky,“ píše OpenAI na svém propagačním blogu . „Díky tomuto spuštění mohou nyní vývojáři provádět řízené dolaďování, aby tento model fungoval lépe pro jejich případy použití.“

Zatímco GPT-4 , výkonnější bratranec GPT-3.5, je dobře známý jako všeobecný odborník, který se dá přizpůsobit mnoha subjektům, jeho provoz je pomalejší a dražší. OpenAI představuje jemné ladění 3.5 jako způsob, jak získat výkon podobný GPT-4 v konkrétní doméně znalostí za nižší cenu a rychlejší dobu provádění. „První testy ukázaly, že vyladěná verze GPT-3.5 Turbo se může rovnat nebo dokonce překonat základní schopnosti úrovně GPT-4 na určitých úzkých úkolech,“ píší.

OpenAI také říká, že vyladěné modely poskytují „vylepšenou řiditelnost“, což znamená, že se budete lépe řídit pokyny; „spolehlivé výstupní formátování“, které zlepšuje schopnost modelu konzistentně vydávat text ve formátu, jako jsou volání API nebo JSON; a „vlastní tón“, který může chatbotovi vložit vlastní chuť nebo osobnost.

OpenAI říká, že jemné ladění umožňuje uživatelům zkrátit jejich výzvy a může ušetřit peníze za volání OpenAI API, která jsou účtována za token. „První testeři zmenšili velikost výzvy až o 90 % tím, že doladili instrukce do samotného modelu,“ říká OpenAI. Právě teď je délka kontextu pro jemné ladění nastavena na 4K tokenů, ale OpenAI říká, že jemné ladění se rozšíří na 16k model tokenů „později letos na podzim“.

Používání vlastních dat něco stojí

Možná vás teď zajímá, jak funguje používání vlastních dat k trénování GPT-3.5 – a kolik to stojí. OpenAI na svém blogu uvádí zjednodušený proces, který ukazuje nastavení systémové výzvy pomocí API, nahrávání souborů do OpenAI pro školení a vytvoření úlohy jemného ladění pomocí nástroje příkazového řádku curl pro dotaz na webovou adresu API . Jakmile je proces jemného ladění dokončen, OpenAI říká, že přizpůsobený model je okamžitě k dispozici k použití se stejnými rychlostními limity jako základní model. Více podrobností lze nalézt v oficiální dokumentaci OpenAI .

To vše má samozřejmě svou cenu a je rozdělena na náklady na školení a náklady na používání. Trénink GPT-3.5 stojí 0,008 $ za 1 000 tokenů. Během fáze používání stojí přístup k API 0,012 USD za 1 000 tokenů pro textový vstup a 0,016 USD za 1 000 tokenů pro výstup textu.

Pro srovnání, základní model 4K GPT-3.5 Turbo stojí 0,0015 dolaru za 1 000 vstupů a 0,002 dolaru za 1 000 tokenů, takže provoz vyladěného modelu je asi osmkrát dražší. A zatímco 8K kontextový model GPT-4 je také levnější za 0,03 $ za vstup 1 000 tokenů a 0,06 $ za výstup 1 000 tokenů, OpenAI stále tvrdí, že peníze lze ušetřit díky snížené potřebě dotazování v jemně vyladěném modelu. Je to natahovací, ale v úzkých případech to může platit.

I za vyšší cenu může výuka GPT-3.5 o vlastních dokumentech pro některé lidi stát za cenu – pokud dokážete zabránit tomu, aby si z toho model vymýšlel. Přizpůsobení je jedna věc, ale důvěřovat přesnosti a spolehlivosti výstupů GPT-3.5 Turbo v produkčním prostředí je zcela jiná věc. GPT-3.5 je známý svou tendencí zaměňovat informace.

Pokud jde o ochranu osobních údajů , OpenAI poznamenává, že stejně jako u všech jeho rozhraní API nejsou data zasílaná dovnitř a ven z rozhraní API pro jemné ladění používána OpenAI (ani nikým jiným) k trénování modelů AI. Zajímavé je, že OpenAI bude zasílat všechna zákaznická data pro doladění školení prostřednictvím GPT-4 pro účely moderování pomocí nedávno oznámeného rozhraní API pro moderování. To může představovat část nákladů na používání služby jemného ladění.

A pokud vám 3.5 nestačí, OpenAI říká, že doladění pro GPT-4 přijde letos na podzim. Z našich zkušeností vyplývá, že GPT-4 toho tolik nevymýšlí, ale doladění tohoto modelu (nebo oněch 8 modelů spolupracujících pod kapotou) bude pravděpodobně mnohem dražší. Uvidíme, až přijde čas.