Згідно з OpenAI, оновлення ChatGPT дозволяє штучному інтелекту «бачити, чути та говорити».

У понеділок OpenAI оголосила про значне оновлення ChatGPT, яке дозволяє його моделям AI GPT-3.5 і GPT-4 аналізувати зображення та реагувати на них як частину текстової розмови. Крім того, мобільний додаток ChatGPT додасть параметри синтезу мовлення, які в поєднанні з наявними функціями розпізнавання мовлення дозволять повністю вербально розмовляти з помічником AI, повідомляє OpenAI.

OpenAI планує розгорнути ці функції в ChatGPT для абонентів Plus і Enterprise «протягом наступних двох тижнів». Він також зазначає, що синтез мовлення з’явиться лише в iOS і Android, а розпізнавання зображень буде доступне як у веб-інтерфейсі, так і в мобільні програми.

OpenAI каже, що нова функція розпізнавання зображень у ChatGPT дозволяє користувачам завантажувати одне або кілька зображень для розмови, використовуючи моделі GPT-3.5 або GPT-4. У своїй рекламній публікації в блозі компанія стверджує, що цю функцію можна використовувати для різноманітних повсякденних завдань: від визначення того, що на вечерю, шляхом фотографування холодильника та комори, до усунення несправностей, чому ваш гриль не запускається. У ньому також сказано, що користувачі можуть використовувати сенсорний екран свого пристрою, щоб обводити частини зображення, на яких вони хотіли б, щоб ChatGPT зосередився.

На своєму сайті OpenAI надає рекламне відео , яке ілюструє гіпотетичний обмін із ChatGPT, де користувач запитує, як підняти сидіння велосипеда, надаючи фотографії, а також інструкцію з експлуатації та зображення панелі інструментів користувача. ChatGPT реагує та радить користувачеві, як завершити процес. Ми не тестували цю функцію самостійно, тому її реальна ефективність невідома.

Отже, як це працює? OpenAI не оприлюднив технічних деталей того, як GPT-4 або його мультимодальна версія, GPT-4V , працює під капотом, але на основі відомих досліджень штучного інтелекту, проведених іншими (включно з партнером OpenAI Microsoft ), моделі мультимодального штучного інтелекту зазвичай перетворюють текст і зображення на спільний простір кодування, який дозволяє їм обробляти різні типи даних через ту саму нейронну мережу. OpenAI може використовувати CLIP для подолання розриву між візуальними та текстовими даними таким чином, щоб вирівняти представлення зображення та тексту в одному латентному просторі , свого роду векторизованій мережі зв’язків даних. Ця техніка може дозволити ChatGPT робити контекстні висновки в тексті та зображеннях, хоча це спекулятивно з нашого боку.

Тим часом у сфері аудіо, як повідомляється, нова функція голосового синтезу ChatGPT дозволяє вести розмову в прямому ефірі за допомогою ChatGPT, керуючись тим, що OpenAI називає «новою моделлю перетворення тексту в мовлення», хоча перетворення тексту в мовлення було вирішено для багато часу. Після того, як ця функція з’явиться, компанія каже, що користувачі зможуть використовувати цю функцію, увімкнувши голосові розмови в налаштуваннях програми, а потім вибравши один із п’яти різних синтетичних голосів із назвами «Ялівець», «Небо», «Бухта», «Ембер». ”, і “Breeze”. OpenAI каже, що ці голоси були створені у співпраці з професійними акторами голосу.

Whisper від OpenAI, система розпізнавання мовлення з відкритим кодом, про яку ми розповідали у вересні минулого року, продовжить обробляти транскрипцію мовного введення користувача. Whisper інтегровано з додатком ChatGPT для iOS з моменту його запуску в травні. У липні OpenAI випустила програму ChatGPT для Android із такими ж можливостями .