NVIDIA:n NeRF AI muuttaa 2D-kuvat välittömästi 3D-objekteiksi

NVIDIA on parantanut huomattavasti NeRF-tekniikkaa 3D-objektien luomiseksi 2D-kuvista lähes välittömästi.

Uusi teknologia nimeltä Neural Radiance Field (NeRF) käyttää tekoälyn oppimisalgoritmeja 3D-objektien luomiseen 2D-kuvista. NeRF pystyy täyttämään aukot niin sanotusti interpoloimalla asioita, joita 2D-kuvat eivät pysty kaappaamaan. Tämä on erittäin mielenkiintoinen saavutus, joka voi johtaa merkittäviin edistysaskeliin niinkin erilaisilla aloilla kuin videopelit tai autonominen ajaminen. Nyt NVIDIA on kehittänyt uuden teknologian, NeRF:n, joka on yhtiön mukaan nopein tähän mennessä ja kestää vain muutaman sekunnin oppia luomaan 3D-näkymää.

NVIDIA parantaa merkittävästi NeRF-tekniikkaa

Instant NeRF -mallin tutkiminen kymmenien pysäytyskuvien ja kamerakulmien avulla kestää vain muutaman sekunnin. Sen jälkeen järjestelmä pystyy luomaan 3D-näkymän ”useissa kymmenissä millisekunnissa”. Kuten minkä tahansa muun NeRF-menetelmän kanssa, sinun on otettava kuvia eri paikoista. Ja kuvissa, joissa on useita kohtauksia, on parempi ottaa kuvat ilman tarpeetonta liikettä, muuten tulos on epäselvä.

Luo lähes välittömästi 3D-objekteja 2D-kuvista

NVIDIA selittää, että ensimmäiset NeRF-mallit tuottavat tuloksia melko nopeasti. 3D-näkymän luomiseen kuluu vain muutama minuutti, vaikka objekti olisi joissakin kuvissa piilossa pylväällä tai huonekalulla. Koulutus kestää useita tunteja. NVIDIA-versiossa tämä vaihe kestää vain muutaman sekunnin, koska se käyttää teknologiaa, jonka on kehittänyt yritys nimeltä ”Multi-Resolution Hash Grid Encoding”, joka on optimoitu optimaaliseen suorituskykyyn tämän merkin GPU:issa. Järjestelmä voi toimia jopa yhdellä GPU:lla, vaikka nopeimmat tulokset saavutetaan levyillä, joissa on Tensor Cores, mikä parantaa suorituskykyä kaikissa tekoälytehtävissä.

Yhtiö uskoo, että Instant NeRF:llä voidaan kouluttaa robotteja ja auttaa autonomisia ajojärjestelmiä ymmärtämään todellisen maailman esineiden kokoa ja muotoa. NVIDIA näkee myös teknologian mahdollisuuksia viihteen ja arkkitehtuurin alalla. Tämän avulla voidaan luoda 3D-malleja todellisista ympäristöistä, joita tekijät voivat muokata suunnitteluprosessin aikana.