ChatGPT 如何將生成式人工智能變成“任何工具”

一家機器人初創公司的首席技術官今年早些時候告訴我，“我們認為我們必須做大量工作來構建‘機器人的 ChatGPT’。相反，事實證明，在很多情況下，ChatGPT 就是機器人技術的 ChatGPT。”

直到最近，人工智能模型還是專門的工具。在機器人等特定領域使用人工智能意味著要花費時間和金錢專門為該領域創建人工智能模型。例如，谷歌的 AlphaFold 是一種用於預測蛋白質折疊的人工智能模型，它是使用蛋白質結構數據進行訓練的，並且僅對處理蛋白質結構有用。

因此，這位創始人認為，為了從生成式人工智能中受益，機器人公司需要為機器人創建自己的專門生成式人工智能模型。相反，該團隊發現，在許多情況下，他們可以使用現成的 ChatGPT 來控制他們的機器人，而無需對人工智能進行專門訓練。

我從從事從健康保險到半導體設計等各個領域的技術專家那裡聽到過類似的事情。為了創建 ChatGPT（一種讓人類通過簡單對話即可使用生成式 AI）的聊天機器人，OpenAI 需要更改 GPT3 等大型語言模型 (LLM)，以更加響應人類交互。

但也許無意中，這些相同的變化讓 GPT3 的後繼者（如 GPT3.5 和 GPT4）被用作強大的通用信息處理工具，這些工具不依賴於 AI 模型最初訓練的知識或模型訓練的應用。這需要以完全不同的方式使用人工智能模型——編程而不是聊天，新數據而不是訓練。但它為人工智能成為通用而不是專門的、更像是“任何工具”開闢了道路。

我們是怎麼來到這裡的？

基礎知識：概率、梯度下降和微調

讓我們花點時間來了解一下支持生成式人工智能的法學碩士如何工作以及他們如何接受培訓。

像 GPT4 這樣的法學碩士是概率性的；他們接受輸入並預測與該輸入相關的單詞和短語的概率。然後，它們生成最有可能適合給定輸入的輸出。這就像一個非常複雜的自動完成功能：獲取一些文本，然後告訴我接下來的內容。從根本上說，這意味著生成式人工智能並不生活在“對與錯”的背景下，而是“更有可能和更不可能”的背景下。

概率論有優點也有缺點。其弱點是眾所周知的：生成式人工智能可能是不可預測和不精確的，不僅容易產生糟糕的輸出，而且會以你意想不到的方式產生。但這也意味著人工智能可以變得不可預測地強大和靈活，這是傳統的、基於規則的系統所無法做到的。我們只需要以一種有用的方式塑造這種隨機性。

這是一個類比。在量子力學出現之前，物理學家認為宇宙以可預測的、確定性的方式運行。量子世界的隨機性起初令人震驚，但我們學會了擁抱量子怪異，然後實際使用它。量子隧道效應本質上是隨機的，但它可以被引導，使粒子以可預測的模式跳躍。這就是半導體和為您正在閱讀本文的設備供電的芯片的誕生。不要僅僅接受上帝與宇宙玩骰子的觀點——學習如何加載骰子。

同樣的事情也適用於人工智能。我們使用一種稱為“梯度下降”的技術來訓練法學碩士所構成的神經網絡。梯度下降查看模型產生的輸出，將其與訓練數據進行比較，然後計算調整神經網絡參數的“方向”，使輸出變得“更”正確，即看起來更像訓練數據給出了AI。對於我們神奇的自動完成功能，更正確的答案意味著輸出文本更有可能遵循輸入。

概率數學是計算機處理文字的好方法。計算某些單詞跟在其他單詞後面的可能性只是計數，對於計算機來說，“有多少”比“更正確或更錯誤”要容易得多。產生輸出，與訓練數據進行比較並進行調整。沖洗並重複，進行許多小的、漸進的改進，最終你會將一個輸出胡言亂語的神經網絡變成產生連貫句子的東西。這項技術還可以適用於圖片、DNA 序列等。