L’IA NeRF de NVIDIA transforme instantanément les photos 2D en objets 3D

NVIDIA a considérablement amélioré la technique NeRF pour créer des objets 3D à partir de photographies 2D presque instantanément.

Une nouvelle technologie appelée Neural Radiance Field (NeRF) utilise des algorithmes d’apprentissage de l’intelligence artificielle pour créer des objets 3D à partir de photographies 2D. NeRF a la capacité de combler les lacunes, pour ainsi dire, en interpolant ce que les photos 2D ne peuvent pas capturer. Il s’agit d’une réalisation très intéressante qui pourrait conduire à des avancées significatives dans des domaines aussi divers que les jeux vidéo ou la conduite autonome. Maintenant, NVIDIA a développé une nouvelle technologie, NeRF, qui, selon la société, est la plus rapide à ce jour, ne prenant que quelques secondes pour apprendre à créer une scène 3D.

NVIDIA améliore considérablement la technique NeRF

Il ne faut que quelques secondes pour étudier le modèle Instant NeRF en utilisant des dizaines d’arrêts sur image et d’angles de caméra. Après cela, le système est capable de générer une scène 3D en « plusieurs dizaines de millisecondes ». Comme avec toute autre méthode NeRF, vous devez prendre des photos dans différentes positions. Et pour les photos avec plusieurs scènes, mieux vaut avoir des images sans mouvement inutile, sinon le résultat sera flou.

créer presque instantanément des objets 3D à partir de photos 2D

NVIDIA explique que les premiers modèles NeRF produisent des résultats assez rapidement. Il ne leur faut que quelques minutes pour créer une scène 3D, même si l’objet est caché dans certaines images par une colonne ou un meuble. La formation dure plusieurs heures. Dans la version NVIDIA, cette étape ne dure que quelques secondes, car elle utilise une technologie développée par la société appelée « Multi-Resolution Hash Grid Encoding », optimisée pour des performances optimales sur les GPU de cette marque. Le système peut même fonctionner sur un seul GPU, bien que les résultats les plus rapides soient obtenus sur des cartes avec Tensor Cores, offrant des améliorations de performances pour toutes les tâches d’IA.

La société pense qu’Instant NeRF peut être utilisé pour former des robots et aider les systèmes de conduite autonomes à comprendre la taille et la forme des objets dans le monde réel. NVIDIA voit également des opportunités pour les technologies dans le divertissement et l’architecture. Cela peut être utilisé pour créer des modèles 3D d’environnements réels que les créateurs peuvent modifier pendant le processus de planification.