您現在可以通過 API 在您自己的文檔上訓練 ChatGPT

週二，OpenAI宣布通過其 API對 GPT-3.5 Turbo（為免費版ChatGPT提供支持的人工智能模型）進行微調。它允許使用自定義數據（例如公司文檔或項目文檔）來訓練模型。OpenAI 聲稱，經過微調的模型在某些場景下可以以更低的成本實現與 GPT-4 一樣的性能。

因此，基本上，微調會向 GPT-3.5 Turbo 傳授有關自定義內容的知識，例如項目文檔或任何其他書面參考。如果你想構建一個基於 GPT-3.5 的人工智能助手，該助手非常熟悉你的產品或服務，但對其訓練數據缺乏了解（提醒一下，在2021 年 9 月）。

OpenAI 在其宣傳博客中寫道：“自 GPT-3.5 Turbo 發布以來，開發人員和企業都要求能夠定制模型，為用戶創造獨特且差異化的體驗。” “通過此次發布，開發人員現在可以進行監督微調，以使該模型在他們的用例中表現更好。”

雖然GPT-4是 GPT-3.5 的更強大的表親，以適用於許多學科而聞名，但它的運行速度較慢且成本較高。OpenAI 正在宣傳 3.5 微調，作為一種以更低的成本和更快的執行時間在特定知識領域獲得類似 GPT-4 的性能的方法。他們寫道：“早期測試表明，經過微調的 GPT-3.5 Turbo 版本可以在某些狹窄任務上匹配甚至超越基礎 GPT-4 級別的功能。”

此外，OpenAI 表示，經過微調的模型可以“提高可操縱性”，這意味著可以更好地遵循指令；“可靠的輸出格式”，提高了模型以 API 調用或 JSON 等格式一致輸出文本的能力；和“自定義語氣”，它可以為聊天機器人注入自定義的風格或個性。

OpenAI 表示，微調可以讓用戶縮短提示，並可以節省 OpenAI API 調用的費用（按代幣計費）。OpenAI 表示：“早期測試人員通過對模型本身的指令進行微調，將提示大小減少了 90%。” 目前，微調的上下文長度設置為 4K 代幣，但 OpenAI 表示，微調將在“今年秋天晚些時候”擴展到16k 代幣模型。

使用您自己的數據是有代價的

現在，您可能想知道如何使用自己的數據來訓練 GPT-3.5 及其成本。OpenAI 在其博客上展示了一個簡化的流程，其中顯示了使用 API 設置系統提示、將文件上傳到 OpenAI 進行訓練，以及使用命令行工具curl創建微調作業來查詢 API 網址。OpenAI 表示，微調過程完成後，定制模型即可立即使用，其速率限制與基本模型相同。更多細節可以參見OpenAI的官方文檔。

當然，所有這些都是有代價的，它分為培訓成本和使用成本。訓練 GPT-3.5 的成本為每 1,000 個代幣 0.008 美元。在使用階段，API 訪問成本為每 1,000 個令牌 0.012 美元（文本輸入）和每 1,000 個令牌 0.016 美元（文本輸出）。

相比之下，基本 4K GPT-3.5 Turbo 模型每 1,000 個代幣輸入的成本為0.0015 美元，每 1,000 個代幣輸出的成本為 0.002 美元，因此微調模型的運行成本約為 8 倍。雖然 GPT-4 的 8K 上下文模型也更便宜，每 1K 代幣輸入 0.03 美元，每 1K 代幣輸出 0.06 美元，但 OpenAI 仍然聲稱，由於微調模型中提示的需要減少，可以節省資金。這是一個延伸，但在狹窄的情況下，它可能適用。

即使成本更高，對某些人來說，教授 GPT-3.5 有關自定義文檔的費用也可能是值得的——如果你能阻止模型編造相關內容。定制是一回事，但在生產環境中信任 GPT-3.5 Turbo 輸出的準確性和可靠性則完全是另一回事。GPT-3.5以其混淆信息的傾向而聞名。

關於數據隱私，OpenAI 指出，與其所有 API 一樣，OpenAI（或其他任何人）不會使用微調 API 傳入和傳出的數據來訓練 AI 模型。有趣的是，OpenAI 將通過 GPT-4 發送所有客戶微調訓練數據，以使用其最近發布的審核 API 進行審核。這可能是使用微調服務的部分成本的原因。

如果 3.5 對您來說還不夠好，OpenAI 表示將於今年秋天對 GPT-4 進行微調。根據我們的經驗，GPT-4 並沒有那麼多，但微調該模型（或傳聞中的8 個模型在引擎蓋下協同工作）可能會昂貴得多。我們得看看時機到了。