Технический директор стартапа в области робототехники рассказал мне ранее в этом году: «Мы думали, что нам придется проделать большую работу, чтобы создать «ChatGPT для робототехники». Вместо этого оказывается, что во многих случаях ChatGPT — это ChatGPT для робототехники».
До недавнего времени модели ИИ были специализированными инструментами. Использование ИИ в определенной области, например в робототехнике, означало тратить время и деньги на создание моделей ИИ специально и только для этой области. Например, AlphaFold от Google, модель искусственного интеллекта для прогнозирования сворачивания белков, была обучена с использованием данных о структуре белка и полезна только для работы с белковыми структурами.
Итак, этот основатель подумал, что, чтобы получить выгоду от генеративного ИИ, робототехнической компании необходимо будет создать свои собственные специализированные модели генеративного ИИ для робототехники. Вместо этого команда обнаружила, что во многих случаях они могут использовать готовый ChatGPT для управления своими роботами без специального обучения ИИ.
Я слышал подобные вещи от технологов, работающих над всем: от медицинского страхования до дизайна полупроводников. Чтобы создать ChatGPT, чат-бота, который позволяет людям использовать генеративный искусственный интеллект, просто общаясь, OpenAI необходимо было изменить большие языковые модели (LLM), такие как GPT3, чтобы они стали более восприимчивыми к человеческому взаимодействию.
Но, возможно, непреднамеренно, эти же самые изменения позволяют преемникам GPT3, таким как GPT3.5 и GPT4, использоваться в качестве мощных инструментов обработки информации общего назначения — инструментов, которые не зависят от знаний, на которых изначально обучалась модель ИИ, или приложения, для которых была обучена модель. Это требует использования моделей ИИ совершенно по-другому: программирование вместо общения, новые данные вместо обучения. Но это открывает путь для того, чтобы ИИ стал универсальным, а не специализированным инструментом, скорее «инструментом для чего угодно».
Как мы здесь оказались?
Основы: вероятность, градиентный спуск и точная настройка.
Давайте уделим немного времени и коснемся того, как работают LLM, поддерживающие генерирующий искусственный интеллект, и как их обучают.
LLM, такие как GPT4, являются вероятностными; они принимают входные данные и прогнозируют вероятность слов и фраз, относящихся к этим входным данным. Затем они генерируют выходные данные, которые, скорее всего, будут соответствовать входным данным. Это похоже на очень сложное автозаполнение: возьмите текст и дайте мне то, что будет дальше. По сути, это означает, что генеративный ИИ живет не в контексте «правильного и неправильного», а скорее в контексте «более и менее вероятного».
Вероятностный подход имеет свои сильные и слабые стороны. Слабые стороны хорошо известны: генеративный ИИ может быть непредсказуемым и неточным, склонным не просто выдавать плохие результаты, но и производить их так, как вы никогда не ожидали. Но это также означает, что ИИ может быть непредсказуемо мощным и гибким, чего не могут быть традиционные системы, основанные на правилах. Нам просто нужно сформировать эту случайность полезным способом.
Вот аналогия. До появления квантовой механики физики считали, что Вселенная работает предсказуемым и детерминированным образом. Случайность квантового мира поначалу стала шоком, но мы научились принимать квантовые странности и затем использовать их на практике. Квантовое туннелирование по своей сути является стохастическим, но им можно управлять так, чтобы частицы прыгали по предсказуемым закономерностям. Именно это привело к появлению полупроводников и чипов, питающих устройство, о котором вы читаете эту статью. Не просто принимайте, что Бог играет в кости со Вселенной — научитесь бросать кости.
То же самое относится и к ИИ. Мы обучаем нейронные сети, из которых состоят LLM, используя технику, называемую «градиентный спуск». Градиентный спуск рассматривает выходные данные модели, сравнивает их с обучающими данными, а затем вычисляет «направление» для настройки параметров нейронной сети так, чтобы выходные данные стали «более» правильными, то есть больше походили на обучающие данные. ИИ дан. В случае нашего волшебного автозаполнения более правильный ответ означает выводимый текст, который с большей вероятностью последует за вводом.
Вероятностная математика — отличный способ для компьютеров работать со словами; Вычисление того, насколько вероятно, что одни слова последуют за другими словами, — это просто подсчет, и компьютеру гораздо проще работать с «сколько» слов, чем с «более правильными или более неправильными». Получите выходные данные, сравните их с обучающими данными и скорректируйте. Промойте и повторите, внося множество небольших, постепенных улучшений, и в конечном итоге вы превратите нейронную сеть, выплескивающую тарабарщину, в нечто, производящее связные предложения. Эту технику также можно адаптировать к изображениям, последовательностям ДНК и многому другому.