Тепер ви можете навчати ChatGPT на своїх власних документах через API

У вівторок OpenAI оголосила про доопрацювання GPT-3.5 Turbo — моделі AI, яка підтримує безкоштовну версію ChatGPT — через її API. Це дозволяє навчати модель спеціальними даними, такими як документи компанії або проектна документація. OpenAI стверджує, що точно налаштована модель може працювати так само добре, як GPT-4 з меншою вартістю в певних сценаріях.

Тож, по суті, точне налаштування навчає GPT-3.5 Turbo спеціальному вмісту, такому як проектна документація чи будь-яка інша письмова довідка. Це може стати в нагоді, якщо ви хочете створити помічника зі штучним інтелектом на основі GPT-3.5, який добре знайомий із вашим продуктом чи послугою, але не знає про це в своїх навчальних даних (які, як нагадування, були вилучені з Інтернету до вересень 2021 р.).

«З моменту випуску GPT-3.5 Turbo розробники та компанії просили надати можливість налаштувати модель, щоб створити унікальний та диференційований досвід для своїх користувачів», — пише OpenAI у своєму рекламному блозі . «Завдяки цьому запуску розробники тепер можуть запускати контрольоване тонке налаштування, щоб зробити цю модель кращою для своїх випадків використання».

У той час як GPT-4 , більш потужний двоюрідний брат GPT-3.5, добре відомий як універсальний, який адаптується до багатьох предметів, він повільніший і дорожчий у використанні. OpenAI пропонує тонке налаштування 3.5 як спосіб отримати продуктивність, подібну до GPT-4, у певній області знань за нижчою ціною та швидшим часом виконання. «Перші тести показали, що налаштована версія GPT-3.5 Turbo може відповідати або навіть перевершувати базові можливості рівня GPT-4 у певних вузьких завданнях», — пишуть вони.

Крім того, OpenAI каже, що точно налаштовані моделі забезпечують «покращену керованість», що означає краще дотримання інструкцій; «надійне форматування виводу», яке покращує здатність моделі послідовно виводити текст у такому форматі, як виклики API або JSON; і «спеціальний тон», який може додати власний смак або індивідуальність чат-боту.

OpenAI каже, що тонке налаштування дозволяє користувачам скоротити їхні підказки та може заощадити гроші на викликах OpenAI API, які виставляються за маркер. «Перші тестувальники зменшили розмір підказки до 90% шляхом тонкого налаштування інструкцій у самій моделі», — каже OpenAI. Наразі довжина контексту для точного налаштування встановлена ​​на 4K токенів, але OpenAI каже, що точне налаштування пошириться на модель токенів 16K «пізніше цієї осені».

Використання власних даних коштує дорого

Наразі ви можете цікавитися, як працює використання ваших власних даних для навчання GPT-3.5 — і скільки це коштує. OpenAI викладає спрощений процес у своєму блозі, який показує налаштування системної підказки за допомогою API, завантаження файлів у OpenAI для навчання та створення завдання тонкого налаштування за допомогою інструмента командного рядка curl для запиту веб-адреси API. Після завершення процесу тонкого налаштування OpenAI повідомляє, що налаштована модель стане доступною для використання негайно з тими ж обмеженнями швидкості, що й базова модель. Більш детальну інформацію можна знайти в офіційній документації OpenAI .

Усе це, звичайно, має свою ціну, яка поділяється на витрати на навчання та витрати на використання. Навчання GPT-3.5 коштує $0,008 за 1000 токенів. На етапі використання доступ до API коштує 0,012 доларів США за 1000 токенів для введення тексту та 0,016 доларів США за 1000 токенів для виведення тексту.

Для порівняння, базова модель 4K GPT-3.5 Turbo коштує 0,0015 дол. США за 1000 введених токенів і 0,002 дол. США за 1000 виведених токенів, отже налаштована модель приблизно у вісім разів дорожча для запуску. І хоча контекстна модель GPT-4 8K також дешевша — 0,03 долара за 1K маркерів на вході та 0,06 $ за 1K маркерів на виході, OpenAI все ще стверджує, що гроші можна заощадити завдяки зменшеній потребі в підказках у точно налаштованій моделі. Це натяжка, але у вузьких випадках це може бути застосовано.

Навчання GPT-3.5 користувацьким документам може бути для деяких людей цілком вартим того, щоб навіть за вищих витрат, якщо ви не дасте моделі вигадувати щось про це. Налаштування — це одне, але довіряти точності та надійності виходів GPT-3.5 Turbo у виробничому середовищі — зовсім інша справа. GPT-3.5 добре відомий своєю схильністю до конфабуляції інформації.

Стосовно конфіденційності даних , OpenAI зазначає, що, як і всі його API, дані, які надсилаються та виходять із API тонкого налаштування, не використовуються OpenAI (чи будь-ким іншим) для навчання моделей ШІ. Цікаво, що OpenAI надсилатиме всі навчальні дані для точного налаштування клієнтів через GPT-4 для цілей модерації за допомогою свого нещодавно анонсованого API модерації. Це може пояснити частину витрат на використання послуги тонкого налаштування.

І якщо 3.5 вам недостатньо, OpenAI каже, що тонке налаштування GPT-4 відбудеться цієї осені. З нашого досвіду, GPT-4 не так сильно змінює ситуацію, але тонке налаштування цієї моделі (або, за чутками, 8 моделей , які працюють разом під капотом), ймовірно, буде набагато дорожчим. Побачимо, коли прийде час.