NVIDIAs NeRF AI förvandlar omedelbart 2D-foton till 3D-objekt

NVIDIA har avsevärt förbättrat NeRF-tekniken för att skapa 3D-objekt från 2D-fotografier nästan omedelbart.

En ny teknik som kallas Neural Radiance Field (NeRF) använder algoritmer för inlärning av artificiell intelligens för att skapa 3D-objekt från 2D-fotografier. NeRF har förmågan att fylla i luckorna så att säga genom att interpolera vad 2D-bilder inte kan fånga. Detta är en mycket intressant prestation som kan leda till betydande framsteg inom så olika områden som videospel eller autonom körning. Nu har NVIDIA utvecklat en ny teknik, NeRF, som företaget säger är den snabbaste hittills, och det tar bara några sekunder att lära sig hur man skapar en 3D-scen.

NVIDIA förbättrar NeRF-tekniken avsevärt

Det tar bara några sekunder att studera Instant NeRF-modellen med hjälp av dussintals frysramar och kameravinklar. Därefter kan systemet generera en 3D-scen på ”flera tiotals millisekunder.” Som med alla andra NeRF-metoder måste du ta bilder i olika positioner. Och för foton med flera scener är det bättre att ha bilder utan onödiga rörelser, annars blir resultatet suddigt.

skapa nästan omedelbart 3D-objekt från 2D-foton

NVIDIA förklarar att de första NeRF-modellerna ger resultat ganska snabbt. Det tar bara några minuter att skapa en 3D-scen, även om objektet är dolt i vissa bilder av en kolumn eller möbel. Utbildningen tar flera timmar. I NVIDIA-versionen varar detta steg bara några sekunder, eftersom det använder en teknik utvecklad av företaget som heter ”Multi-Resolution Hash Grid Encoding”, som är optimerad för optimal prestanda på detta märkes GPU:er. Systemet kan till och med köras på en enda GPU, även om de snabbaste resultaten uppnås på kort med Tensor Cores, vilket ger prestandahöjningar för alla AI-uppgifter.

Företaget tror att Instant NeRF kan användas för att träna robotar och hjälpa autonoma körsystem att förstå storleken och formen på objekt i den verkliga världen. NVIDIA ser också möjligheter för teknologier inom underhållning och arkitektur. Detta kan användas för att skapa 3D-modeller av verkliga miljöer som skapare kan modifiera under planeringen.