NeRF AI від NVIDIA миттєво перетворює 2D-фотографії на 3D-об’єкти

NVIDIA значно вдосконалила техніку NeRF для майже миттєвого створення 3D-об’єктів із 2D-фотографій.

Нова технологія під назвою Neural Radiance Field (NeRF) використовує алгоритми навчання штучного інтелекту для створення 3D-об’єктів із 2D-фотографій. NeRF має можливість, так би мовити, заповнювати прогалини, інтерполюючи те, що не можуть зафіксувати 2D-фото. Це дуже цікаве досягнення, яке може призвести до значного прогресу в таких різноманітних сферах, як відеоігри чи автономне водіння. Тепер NVIDIA розробила нову технологію NeRF, яка, за словами компанії, є найшвидшою на сьогоднішній день, займаючи лише кілька секунд, щоб навчитися створювати 3D-сцену.

NVIDIA значно вдосконалює техніку NeRF

Щоб вивчити модель Instant NeRF за допомогою десятків стоп-кадрів і ракурсів, потрібно лише кілька секунд. Після цього система здатна згенерувати 3D-сцену за «кілька десятків мілісекунд». Як і в будь-якому іншому методі NeRF, вам потрібно зробити знімки в різних положеннях. А для фотографій із кількома сценами краще мати зображення без зайвих рухів, інакше результат буде розмитим.

майже миттєво створювати 3D-об’єкти з 2D-фото

NVIDIA пояснює, що перші моделі NeRF дають результати досить швидко. Їм потрібно лише кілька хвилин, щоб створити 3D-сцену, навіть якщо на деяких зображеннях об’єкт прихований колоною чи меблями. Навчання займає кілька годин. У версії NVIDIA цей крок триває лише кілька секунд, оскільки він використовує технологію, розроблену компанією під назвою «Multi-Resolution Hash Grid Encoding», яка оптимізована для оптимальної продуктивності графічних процесорів цього бренду. Система може працювати навіть на одному графічному процесорі, хоча найшвидші результати досягаються на платах із тензорними ядрами, що забезпечує підвищення продуктивності для всіх завдань ШІ.

Компанія вважає, що Instant NeRF можна використовувати для навчання роботів і допомоги системам автономного водіння розуміти розміри та форми об’єктів у реальному світі. NVIDIA також бачить можливості для технологій у сфері розваг та архітектури. Це можна використовувати для створення 3D-моделей реального середовища, які творці можуть змінювати під час процесу планування.