Agora você pode treinar ChatGPT em seus próprios documentos via API

Na terça-feira, a OpenAI anunciou o ajuste fino do GPT-3.5 Turbo – o modelo de IA que alimenta a versão gratuita do ChatGPT – por meio de sua API. Permite treinar o modelo com dados customizados, como documentos da empresa ou documentação do projeto. A OpenAI afirma que um modelo ajustado pode funcionar tão bem quanto o GPT-4 com custo mais baixo em determinados cenários.

Basicamente, o ajuste fino ensina o GPT-3.5 Turbo sobre conteúdo personalizado, como documentação do projeto ou qualquer outra referência escrita. Isso pode ser útil se você deseja construir um assistente de IA baseado em GPT-3.5 que esteja intimamente familiarizado com seu produto ou serviço, mas não tenha conhecimento dele em seus dados de treinamento (que, como lembrete, foram retirados da web antes de setembro de 2021).

“Desde o lançamento do GPT-3.5 Turbo, desenvolvedores e empresas têm solicitado a capacidade de customizar o modelo para criar experiências únicas e diferenciadas para seus usuários”, escreve OpenAI em seu blog promocional . “Com este lançamento, os desenvolvedores agora podem executar ajustes supervisionados para melhorar o desempenho deste modelo em seus casos de uso.”

Embora o GPT-4 , o primo mais poderoso do GPT-3.5, seja conhecido como um generalista adaptável a muitos assuntos, é mais lento e mais caro de operar. A OpenAI está lançando o ajuste fino 3.5 como uma forma de obter desempenho semelhante ao GPT-4 em um domínio de conhecimento específico a um custo menor e tempo de execução mais rápido. “Os primeiros testes mostraram que uma versão ajustada do GPT-3.5 Turbo pode igualar, ou até mesmo superar, os recursos básicos do nível GPT-4 em certas tarefas restritas”, escrevem eles.

Além disso, a OpenAI afirma que modelos ajustados fornecem “melhor capacidade de direção”, o que significa seguir melhor as instruções; “formatação de saída confiável”, que melhora a capacidade do modelo de produzir texto de forma consistente em um formato como chamadas de API ou JSON; e “tom personalizado”, que pode incorporar um sabor ou personalidade personalizada a um chatbot.

A OpenAI afirma que o ajuste fino permite que os usuários encurtem seus prompts e possam economizar dinheiro em chamadas de API OpenAI, que são cobradas por token. “Os primeiros testadores reduziram o tamanho do prompt em até 90% ajustando as instruções no próprio modelo”, diz OpenAI. No momento, o comprimento do contexto para ajuste fino está definido em tokens de 4K, mas a OpenAI diz que o ajuste fino se estenderá ao modelo de token de 16k “mais tarde neste outono”.

Usar seus próprios dados tem um custo

Agora, você deve estar se perguntando como funciona o uso de seus próprios dados para treinar o GPT-3.5 – e quanto custa. A OpenAI apresenta um processo simplificado em seu blog que mostra a configuração de um prompt do sistema com a API, o upload de arquivos para o OpenAI para treinamento e a criação de um trabalho de ajuste fino usando a ferramenta de linha de comando curl para consultar um endereço da web da API . Assim que o processo de ajuste for concluído, a OpenAI afirma que o modelo personalizado estará disponível para uso imediato com os mesmos limites de taxa do modelo básico. Mais detalhes podem ser encontrados na documentação oficial da OpenAI .

Tudo isso tem um preço, é claro, e é dividido em custos de treinamento e custos de uso. Treinar o GPT-3.5 custa US$ 0,008 por 1.000 tokens. Durante a fase de uso, o acesso à API custa US$ 0,012 por 1.000 tokens para entrada de texto e US$ 0,016 por 1.000 tokens para saída de texto.

Em comparação, o modelo 4K GPT-3.5 Turbo básico custa US$ 0,0015 por entrada de 1.000 tokens e US$ 0,002 por saída de 1.000 tokens, portanto, o modelo ajustado é cerca de oito vezes mais caro para operar. E embora o modelo de contexto de 8K do GPT-4 também seja mais barato, custando US$ 0,03 por entrada de 1 mil tokens e US$ 0,06 por saída de 1 mil tokens, a OpenAI ainda afirma que o dinheiro pode ser economizado devido à necessidade reduzida de avisos no modelo ajustado. É um exagero, mas em casos restritos, pode ser aplicado.

Mesmo com um custo mais alto, ensinar o GPT-3.5 sobre documentos personalizados pode valer a pena para algumas pessoas – se você conseguir evitar que o modelo invente coisas sobre isso. Personalizar é uma coisa, mas confiar na precisão e confiabilidade das saídas GPT-3.5 Turbo em um ambiente de produção é outra questão completamente diferente. O GPT-3.5 é conhecido por sua tendência a confabular informações.

Em relação à privacidade de dados , a OpenAI observa que, como acontece com todas as suas APIs, os dados enviados para dentro e para fora da API de ajuste fino não são usados ​​pela OpenAI (ou por qualquer outra pessoa) para treinar modelos de IA. Curiosamente, a OpenAI enviará todos os dados de treinamento de ajuste fino do cliente por meio do GPT-4 para fins de moderação usando sua API de moderação anunciada recentemente . Isso pode ser responsável por parte do custo do uso do serviço de ajuste fino.

E se o 3.5 não for bom o suficiente para você, a OpenAI diz que o ajuste fino para o GPT-4 chegará neste outono. Pela nossa experiência, o GPT-4 não inventa tanto as coisas, mas o ajuste fino desse modelo (ou dos rumores de 8 modelos trabalhando juntos sob o capô) provavelmente será muito mais caro. Teremos que ver quando chegar a hora.