Ora puoi addestrare ChatGPT sui tuoi documenti tramite API

Martedì, OpenAI ha annunciato la messa a punto di GPT-3.5 Turbo, il modello di intelligenza artificiale che alimenta la versione gratuita di ChatGPT , attraverso la sua API. Consente di addestrare il modello con dati personalizzati, come documenti aziendali o documentazione di progetto. OpenAI afferma che un modello ottimizzato può funzionare altrettanto bene di GPT-4 con costi inferiori in determinati scenari.

Quindi, in pratica, la messa a punto insegna a GPT-3.5 Turbo i contenuti personalizzati, come la documentazione del progetto o qualsiasi altro riferimento scritto. Ciò può tornare utile se desideri creare un assistente AI basato su GPT-3.5 che abbia molta familiarità con il tuo prodotto o servizio ma non ne sia a conoscenza nei suoi dati di addestramento (che, come promemoria, sono stati cancellati dal web prima di settembre 2021).

“Sin dal rilascio di GPT-3.5 Turbo, sviluppatori e aziende hanno chiesto la possibilità di personalizzare il modello per creare esperienze uniche e differenziate per i propri utenti”, scrive OpenAI sul suo blog promozionale . “Con questo lancio, gli sviluppatori possono ora eseguire una messa a punto supervisionata per migliorare le prestazioni di questo modello per i loro casi d’uso.”

Sebbene GPT-4 , il cugino più potente di GPT-3.5, sia noto come un sistema generalista adattabile a molti argomenti, è più lento e più costoso da eseguire. OpenAI sta proponendo la messa a punto 3.5 come un modo per ottenere prestazioni simili a GPT-4 in uno specifico dominio di conoscenza a un costo inferiore e con tempi di esecuzione più rapidi. “I primi test hanno dimostrato che una versione ottimizzata di GPT-3.5 Turbo può eguagliare, o addirittura superare, le capacità di base di livello GPT-4 su determinati compiti ristretti”, scrivono.

Inoltre, OpenAI afferma che i modelli perfezionati forniscono “una migliore manovrabilità”, il che significa seguire meglio le istruzioni; “formattazione dell’output affidabile”, che migliora la capacità del modello di produrre in modo coerente testo in un formato come chiamate API o JSON; e “tono personalizzato”, che può conferire un sapore o una personalità personalizzata a un chatbot.

OpenAI afferma che la messa a punto consente agli utenti di abbreviare le richieste e di risparmiare denaro nelle chiamate API OpenAI, che vengono fatturate per token. “I primi tester hanno ridotto le dimensioni dei prompt fino al 90% perfezionando le istruzioni nel modello stesso”, afferma OpenAI. Al momento, la lunghezza del contesto per la messa a punto è fissata a token 4K, ma OpenAI afferma che la messa a punto si estenderà al modello di token 16k “più avanti in autunno”.

L’utilizzo dei propri dati ha un costo

A questo punto ti starai chiedendo come funziona l’utilizzo dei tuoi dati per addestrare GPT-3.5 e quanto costa. OpenAI presenta un processo semplificato sul suo blog che mostra l’impostazione di un prompt di sistema con l’API, il caricamento di file su OpenAI per la formazione e la creazione di un lavoro di messa a punto utilizzando lo strumento da riga di comando curl per interrogare un indirizzo web API . Una volta completato il processo di messa a punto, OpenAI afferma che il modello personalizzato è immediatamente disponibile per l’uso con gli stessi limiti di velocità del modello base. Maggiori dettagli possono essere trovati nella documentazione ufficiale di OpenAI .

Tutto ciò, ovviamente, ha un prezzo, suddiviso in costi di formazione e costi di utilizzo. Il training di GPT-3.5 costa $ 0,008 per 1.000 token. Durante la fase di utilizzo, l’accesso all’API costa $ 0,012 per 1.000 token per l’input di testo e $ 0,016 per 1.000 token per l’output di testo.

In confronto, il modello base 4K GPT-3.5 Turbo costa $ 0,0015 per 1.000 token in ingresso e $ 0,002 per 1.000 token in uscita, quindi il modello ottimizzato è circa otto volte più costoso da gestire. E mentre il modello di contesto 8K di GPT-4 è anche più economico con 0,03 dollari per input di token da 1.000 e 0,06 dollari per output di token da 1.000 dollari, OpenAI continua a sostenere che è possibile risparmiare denaro grazie alla ridotta necessità di suggerimenti nel modello ottimizzato. È una forzatura, ma in casi ristretti può essere applicabile.

Anche a un costo più elevato, insegnare a GPT-3.5 i documenti personalizzati potrebbe valere il prezzo per alcune persone, se si riesce a impedire al modello di inventare qualcosa al riguardo. La personalizzazione è una cosa, ma avere fiducia nella precisione e nell’affidabilità delle uscite GPT-3.5 Turbo in un ambiente di produzione è tutta un’altra questione. GPT-3.5 è noto per la sua tendenza a confabulare le informazioni.

Per quanto riguarda la privacy dei dati , OpenAI rileva che, come con tutte le sue API, i dati inviati dentro e fuori dall’API di messa a punto non vengono utilizzati da OpenAI (o chiunque altro) per addestrare modelli di intelligenza artificiale. È interessante notare che OpenAI invierà tutti i dati di formazione per la messa a punto dei clienti tramite GPT-4 a fini di moderazione utilizzando la sua API di moderazione recentemente annunciata . Ciò potrebbe rappresentare una parte del costo nell’utilizzo del servizio di messa a punto.

E se la versione 3.5 non è abbastanza per te, OpenAI afferma che la messa a punto per GPT-4 arriverà questo autunno. Dalla nostra esperienza, GPT-4 non inventa granché le cose, ma mettere a punto quel modello (o i presunti 8 modelli che lavorano insieme sotto il cofano) sarà probabilmente molto più costoso. Bisognerà vedere quando sarà il momento.