NVIDIA NeRF AI akimirksniu paverčia 2D nuotraukas 3D objektais

NVIDIA labai patobulino NeRF techniką, leidžiančią beveik akimirksniu sukurti 3D objektus iš 2D nuotraukų.

Nauja technologija, vadinama Neural Radiance Field (NeRF), naudoja dirbtinio intelekto mokymosi algoritmus, kad sukurtų 3D objektus iš 2D nuotraukų. NeRF turi galimybę užpildyti spragas, taip sakant, interpoliuojant tai, ko 2D nuotraukos negali užfiksuoti. Tai labai įdomus pasiekimas, galintis lemti didelę pažangą tokiose įvairiose srityse kaip vaizdo žaidimai ar autonominis vairavimas. Dabar NVIDIA sukūrė naują technologiją NeRF, kuri, bendrovės teigimu, yra greičiausia iki šiol ir užtrunka vos kelias sekundes, kol išmoksta sukurti 3D sceną.

NVIDIA žymiai pagerina NeRF techniką

Instant NeRF modelio tyrimas naudojant daugybę fiksuotų kadrų ir kameros kampų užtrunka vos kelias sekundes. Po to sistema gali sukurti 3D sceną per „kelias dešimtis milisekundžių“. Kaip ir naudojant bet kurį kitą NeRF metodą, fotografuoti reikia skirtingose ​​padėtyse. O nuotraukoms su keliomis scenomis geriau turėti vaizdus be nereikalingo judesio, kitaip rezultatas bus neryškus.

beveik akimirksniu sukurkite 3D objektus iš 2D nuotraukų

NVIDIA paaiškina, kad pirmieji NeRF modeliai duoda rezultatų gana greitai. Jiems užtrunka vos kelias minutes sukurti 3D sceną, net jei objektas kai kuriuose vaizduose yra paslėptas kolona ar baldais. Mokymas trunka kelias valandas. NVIDIA versijoje šis veiksmas trunka tik kelias sekundes, nes jame naudojama bendrovės sukurta technologija „Multi-Resolution Hash Grid Encoding“, kuri yra optimizuota optimaliam šio prekės ženklo GPU veikimui. Sistema gali veikti net su vienu GPU, nors greičiausi rezultatai pasiekiami plokštėse su Tensor Cores, kurios padidina našumą atliekant visas AI užduotis.

Bendrovė mano, kad „Instant NeRF“ gali būti naudojamas robotams mokyti ir padėti autonominėms vairavimo sistemoms suprasti objektų dydžius ir formas realiame pasaulyje. NVIDIA taip pat mato technologijų galimybes pramogų ir architektūros srityse. Tai gali būti naudojama kuriant realios aplinkos 3D modelius, kuriuos kūrėjai gali keisti planuodami.