O NeRF AI da NVIDIA transforma instantaneamente fotos 2D em objetos 3D

A NVIDIA melhorou muito a técnica NeRF para criar objetos 3D a partir de fotografias 2D quase instantaneamente.

Uma nova tecnologia chamada Neural Radiance Field (NeRF) usa algoritmos de aprendizado de inteligência artificial para criar objetos 3D a partir de fotografias 2D. O NeRF tem a capacidade de preencher as lacunas, por assim dizer, interpolando o que as fotos 2D não podem capturar. Trata-se de um feito muito interessante que poderá levar a avanços significativos em áreas tão diversas como os videojogos ou a condução autónoma. Agora a NVIDIA desenvolveu uma nova tecnologia, NeRF, que a empresa diz ser a mais rápida até hoje, levando apenas alguns segundos para aprender a criar uma cena 3D.

NVIDIA melhora significativamente a técnica NeRF

Leva apenas alguns segundos para estudar o modelo Instant NeRF usando dezenas de quadros congelados e ângulos de câmera. Depois disso, o sistema é capaz de gerar uma cena 3D em “várias dezenas de milissegundos”. Como em qualquer outro método NeRF, você precisa tirar fotos em diferentes posições. E para fotos com várias cenas, é melhor ter imagens sem movimentos desnecessários, senão o resultado ficará embaçado.

crie quase instantaneamente objetos 3D a partir de fotos 2D

A NVIDIA explica que os primeiros modelos NeRF estão produzindo resultados rapidamente. Leva apenas alguns minutos para criar uma cena 3D, mesmo que o objeto esteja oculto em algumas imagens por uma coluna ou mobília. O treinamento leva várias horas. Na versão NVIDIA, esta etapa dura apenas alguns segundos, pois utiliza uma tecnologia desenvolvida pela empresa chamada “Multi-Resolution Hash Grid Encoding”, que é otimizada para um ótimo desempenho nas GPUs desta marca. O sistema pode até rodar em uma única GPU, embora os resultados mais rápidos sejam alcançados em placas com Tensor Cores, proporcionando aumentos de desempenho para todas as tarefas de IA.

A empresa acredita que o Instant NeRF pode ser usado para treinar robôs e ajudar os sistemas de direção autônoma a entender os tamanhos e formas dos objetos no mundo real. A NVIDIA também vê oportunidades para tecnologias em entretenimento e arquitetura. Isso pode ser usado para criar modelos 3D de ambientes reais que os criadores podem modificar durante o processo de planejamento.