Sztuczna inteligencja NeRF firmy NVIDIA natychmiast zamienia zdjęcia 2D w obiekty 3D

Firma NVIDIA znacznie udoskonaliła technikę NeRF umożliwiającą niemal natychmiastowe tworzenie obiektów 3D ze zdjęć 2D.

Nowa technologia o nazwie Neural Radiance Field (NeRF) wykorzystuje algorytmy uczenia sztucznej inteligencji do tworzenia obiektów 3D ze zdjęć 2D. NeRF ma możliwość wypełnienia luk, że tak powiem, poprzez interpolację tego, czego zdjęcia 2D nie mogą uchwycić. To bardzo interesujące osiągnięcie, które może doprowadzić do znacznych postępów w tak różnych dziedzinach, jak gry wideo czy jazda autonomiczna. Teraz NVIDIA opracowała nową technologię, NeRF, która według firmy jest najszybsza do tej pory, a nauczenie się tworzenia sceny 3D zajmuje zaledwie kilka sekund.

NVIDIA znacznie poprawia technikę NeRF

Badanie modelu Instant NeRF przy użyciu dziesiątek stop-klatek i ujęć kamery zajmuje tylko kilka sekund. Następnie system jest w stanie wygenerować scenę 3D w „kilkadziesiąt milisekund”. Podobnie jak w przypadku każdej innej metody NeRF, musisz robić zdjęcia w różnych pozycjach. A w przypadku zdjęć z wieloma scenami lepiej mieć zdjęcia bez zbędnego ruchu, w przeciwnym razie wynik będzie rozmyty.

niemal natychmiast tworzyć obiekty 3D ze zdjęć 2D

NVIDIA wyjaśnia, że ​​pierwsze modele NeRF przynoszą rezultaty dość szybko. Stworzenie sceny 3D zajmuje im tylko kilka minut, nawet jeśli na niektórych obrazach obiekt jest ukryty za kolumną lub meblami. Szkolenie trwa kilka godzin. W wersji NVIDIA ten krok trwa tylko kilka sekund, ponieważ wykorzystuje technologię opracowaną przez firmę o nazwie „Multi-Resolution Hash Grid Encoding”, która jest zoptymalizowana pod kątem optymalnej wydajności na procesorach graficznych tej marki. System może działać nawet na jednym GPU, chociaż najszybsze wyniki osiąga się na płytach z rdzeniami Tensor, co zapewnia wzrost wydajności we wszystkich zadaniach AI.

Firma wierzy, że Instant NeRF można wykorzystać do szkolenia robotów i pomóc autonomicznym systemom jazdy zrozumieć rozmiary i kształty obiektów w prawdziwym świecie. NVIDIA widzi również możliwości dla technologii w rozrywce i architekturze. Można to wykorzystać do tworzenia modeli 3D rzeczywistych środowisk, które twórcy mogą modyfikować podczas procesu planowania.