NeRF AI de NVIDIA convierte instantáneamente fotos 2D en objetos 3D

NVIDIA ha mejorado mucho la técnica NeRF para crear objetos 3D a partir de fotografías 2D casi al instante.

Una nueva tecnología llamada Neural Radiance Field (NeRF) utiliza algoritmos de aprendizaje de inteligencia artificial para crear objetos 3D a partir de fotografías 2D. NeRF tiene la capacidad de llenar los vacíos, por así decirlo, interpolando lo que las fotos 2D no pueden capturar. Se trata de un logro muy interesante que podría suponer importantes avances en áreas tan diversas como los videojuegos o la conducción autónoma. Ahora, NVIDIA ha desarrollado una nueva tecnología, NeRF, que según la compañía es la más rápida hasta la fecha, y aprende a crear una escena 3D en solo unos segundos .

NVIDIA mejora significativamente la técnica NeRF

Solo lleva unos segundos estudiar el modelo Instant NeRF utilizando docenas de fotogramas congelados y ángulos de cámara. Después de eso, el sistema puede generar una escena 3D en «varias decenas de milisegundos». Como con cualquier otro método NeRF, debe tomar fotografías en diferentes posiciones. Y para fotos con múltiples escenas, es mejor tener imágenes sin movimiento innecesario, de lo contrario el resultado será borroso.

crea casi instantáneamente objetos 3D a partir de fotos 2D

NVIDIA explica que los primeros modelos NeRF están produciendo resultados con bastante rapidez. Solo les toma unos minutos crear una escena 3D, incluso si el objeto está oculto en algunas imágenes por una columna o un mueble. El entrenamiento dura varias horas. En la versión de NVIDIA, este paso solo dura unos segundos, ya que utiliza una tecnología desarrollada por la empresa llamada “Multi-Resolution Hash Grid Encoding”, la cual está optimizada para un rendimiento óptimo en las GPU de esta marca. El sistema incluso puede ejecutarse en una sola GPU, aunque los resultados más rápidos se logran en placas con Tensor Cores, lo que brinda mejoras en el rendimiento para todas las tareas de IA.

La compañía cree que Instant NeRF se puede usar para entrenar robots y ayudar a los sistemas de conducción autónomos a comprender los tamaños y formas de los objetos en el mundo real. NVIDIA también ve oportunidades para las tecnologías en el entretenimiento y la arquitectura. Esto se puede utilizar para crear modelos 3D de entornos reales que los creadores pueden modificar durante el proceso de planificación.