ChatGPT が生成 AI を「何でもツール」に変えた方法

ロボット工学の新興企業の最高技術責任者は今年初めに私にこう言いました。「『ロボット工学用 ChatGPT』を構築するには、多くの作業が必要になると考えていました。むしろ、多くの場合、ChatGPT はロボット工学用の ChatGPT であることが判明しました。」

最近まで、AI モデルは特殊なツールでした。ロボット工学などの特定の分野で AI を使用するには、その分野専用の AI モデルを作成するために時間と費用を費やす必要があります。たとえば、タンパク質の折り畳みを予測する AI モデルである Google の AlphaFold は、タンパク質の構造データを使用してトレーニングされており、タンパク質の構造を扱う場合にのみ役立ちます。

そこでこの創業者は、生成 AI の恩恵を受けるには、ロボット企業がロボット工学に特化した独自の生成 AI モデルを作成する必要があると考えました。代わりに、チームは、多くの場合、AI が特別にトレーニングされていなくても、既製の ChatGPT を使用してロボットを制御できることを発見しました。

健康保険から半導体設計まであらゆる分野に携わる技術者からも同様のことを聞いたことがあります。人間が会話するだけで生成 AI を使用できるようにするチャットボットである ChatGPT を作成するには、OpenAI は GPT3 のような大規模言語モデル (LLM) を変更して、人間の対話に対する応答性を高める必要がありました。

しかし、おそらく意図せずして、これらの同じ変更により、GPT3.5 や GPT4 などの GPT3 の後継が、強力な汎用情報処理ツール、つまり AI モデルが元々トレーニングされた知識や知識に依存しないツールとして使用されるようになりました。モデルがトレーニングされたアプリケーション。これには、チャットの代わりにプログラミング、トレーニングの代わりに新しいデータなど、まったく異なる方法で AI モデルを使用する必要があります。しかし、AI が特化型ではなく汎用型、つまり「何でもツール」になる道が開かれつつあります。

私たちはどうやってここへ来ましたか？

基本: 確率、勾配降下法、微調整

生成 AI を強化する LLM がどのように機能し、どのようにトレーニングされるかについて少し触れてみましょう。

GPT4 のような LLM は確率的です。入力を受け取り、その入力に関連する単語やフレーズの確率を予測します。次に、与えられた入力に対して適切である可能性が最も高い出力を生成します。これは非常に洗練されたオートコンプリートのようなものです。テキストをいくつか取り出して、次に何が来るかを教えてください。基本的に、これは、生成 AI が「正しいか間違っているか」という文脈ではなく、むしろ「可能性が高いか低いか」という文脈の中で生きていることを意味します。

確率論的であることには長所と短所があります。弱点はよく知られています。生成 AI は予測不可能で不正確な可能性があり、悪い出力を生成するだけでなく、予期しない方法で生成する傾向があります。しかしそれは、AI が従来のルールベースのシステムでは不可能な、予想外の強力さと柔軟性を備えていることも意味します。必要なのは、そのランダム性を有益な方法で形にすることだけです。

ここで例えてみましょう。量子力学が登場する以前、物理学者は宇宙が予測可能で決定論的な方法で機能していると考えていました。量子の世界のランダムさは最初は衝撃的でしたが、私たちは量子の奇妙さを受け入れ、それを実際に使用することを学びました。量子トンネリングは基本的に確率論的ですが、粒子が予測可能なパターンでジャンプするように誘導することができます。これが、この記事を読んでいるデバイスに電力を供給する半導体とチップの誕生につながりました。神が宇宙に対してサイコロを振るということをただ受け入れるのではなく、サイコロの振り方を学びましょう。

同じことがAIにも当てはまります。私たちは、「勾配降下法」と呼ばれる手法を使用して、LLM を構成するニューラル ネットワークをトレーニングします。勾配降下法では、モデルが生成する出力を調べ、それをトレーニング データと比較して、出力が「より」正しくなるように、つまりトレーニング データにより似るようになるように、ニューラル ネットワークのパラメーターを調整するための「方向」を計算します。 AIが与えられる。マジック オートコンプリートの場合、より正解が多いということは、出力テキストが入力に従う可能性が高いことを意味します。

確率数学は、コンピューターが単語を扱うための優れた方法です。ある単語が他の単語に続く可能性を計算することは、単に数えているだけであり、コンピューターにとっては、「より正しいか、より間違っているか」よりも「いくつ」を扱う方がはるかに簡単です。出力を生成し、トレーニング データと比較して調整します。これを繰り返し、小さな段階的な改善を数多く加えれば、最終的には意味不明な言葉を吐き出すニューラル ネットワークが、一貫した文章を生成するものに変わります。そして、この技術は写真や DNA 配列などにも応用できます。