NVIDIAs NeRF AI forvandler øjeblikkeligt 2D-fotos til 3D-objekter

NVIDIA har i høj grad forbedret NeRF-teknikken til at skabe 3D-objekter fra 2D-fotografier næsten øjeblikkeligt.

En ny teknologi kaldet Neural Radiance Field (NeRF) bruger kunstig intelligens læringsalgoritmer til at skabe 3D-objekter ud fra 2D-fotografier. NeRF har evnen til at udfylde hullerne, så at sige, ved at interpolere, hvad 2D-fotos ikke kan fange. Dette er en meget interessant præstation, der kan føre til betydelige fremskridt inden for så forskellige områder som videospil eller autonom kørsel. Nu har NVIDIA udviklet en ny teknologi, NeRF, som selskabet siger er den hurtigste til dato, og det tager blot et par sekunder at lære at skabe en 3D-scene.

NVIDIA forbedrer NeRF-teknikken markant

Det tager kun et par sekunder at studere Instant NeRF-modellen ved hjælp af snesevis af fryserammer og kameravinkler. Derefter er systemet i stand til at generere en 3D-scene på “adskillige titusinder af millisekunder.” Som med enhver anden NeRF-metode skal du tage billeder i forskellige positioner. Og for billeder med flere scener er det bedre at have billeder uden unødvendig bevægelse, ellers bliver resultatet sløret.

Opret næsten øjeblikkeligt 3D-objekter ud fra 2D-fotos

NVIDIA forklarer, at de første NeRF-modeller producerer resultater ret hurtigt. Det tager dem kun et par minutter at skabe en 3D-scene, selvom objektet er skjult i nogle billeder af en søjle eller et møbel. Træningen tager flere timer. I NVIDIA-versionen varer dette trin kun et par sekunder, da det bruger en teknologi udviklet af firmaet kaldet “Multi-Resolution Hash Grid Encoding”, som er optimeret til optimal ydeevne på dette mærkes GPU’er. Systemet kan endda køre på en enkelt GPU, selvom de hurtigste resultater opnås på boards med Tensor Cores, hvilket giver ydelsesforøgelse til alle AI-opgaver.

Virksomheden mener, at Instant NeRF kan bruges til at træne robotter og hjælpe autonome køresystemer med at forstå størrelsen og formen af ​​objekter i den virkelige verden. NVIDIA ser også muligheder for teknologier inden for underholdning og arkitektur. Dette kan bruges til at skabe 3D-modeller af virkelige miljøer, som skabere kan ændre under planlægningsprocessen.