NVIDIA의 NeRF AI는 2D 사진을 즉시 3D 개체로 변환합니다.

NVIDIA는 2D 사진에서 거의 즉시 3D 개체를 생성하는 NeRF 기술을 크게 개선했습니다.

NeRF(Neural Radiance Field)라는 새로운 기술은 인공 지능 학습 알고리즘을 사용하여 2D 사진에서 3D 개체를 생성합니다. NeRF는 2D 사진이 캡처할 수 없는 것을 보간하여 간격을 채울 수 있는 능력이 있습니다. 이것은 비디오 게임이나 자율 주행과 같은 다양한 분야에서 상당한 발전을 가져올 수 있는 매우 흥미로운 성과입니다. 이제 NVIDIA는 3D 장면을 만드는 방법을 배우는 데 몇 초 밖에 걸리지 않는 현재까지 가장 빠른 새로운 기술인 NeRF를 개발했습니다 .

NVIDIA는 NeRF 기술을 크게 향상시킵니다.

수십 개의 정지 프레임과 카메라 각도를 사용하여 Instant NeRF 모델을 연구하는 데 몇 초 밖에 걸리지 않습니다. 그 후 시스템은 “수십 밀리초” 내에 3D 장면을 생성할 수 있습니다. 다른 NeRF 방법과 마찬가지로 다른 위치에서 사진을 찍어야 합니다. 그리고 여러 장면이 있는 사진의 경우 불필요한 움직임이 없는 이미지가 있는 것이 좋습니다. 그렇지 않으면 결과가 흐릿해집니다.

거의 즉시 2D 사진에서 3D 개체 생성

NVIDIA는 첫 번째 NeRF 모델이 상당히 빠르게 결과를 생성하고 있다고 설명합니다. 개체가 기둥이나 가구에 의해 일부 이미지에 숨겨져 있어도 3D 장면을 만드는 데 몇 분 밖에 걸리지 않습니다. 교육에는 몇 시간이 걸립니다. NVIDIA 버전에서 이 단계는 이 브랜드의 GPU에서 최적의 성능을 위해 최적화된 “Multi-Resolution Hash Grid Encoding”이라는 회사에서 개발한 기술을 사용하기 때문에 몇 초만 지속됩니다. 이 시스템은 단일 GPU에서도 실행될 수 있지만 가장 빠른 결과는 Tensor 코어가 있는 보드에서 달성되어 모든 AI 작업에 대한 성능 향상을 제공합니다.

이 회사는 Instant NeRF를 사용하여 로봇을 훈련하고 자율 주행 시스템이 실제 세계에서 물체의 크기와 모양을 이해하도록 도울 수 있다고 믿습니다. NVIDIA는 또한 엔터테인먼트 및 건축 분야의 기술에 대한 기회를 보고 있습니다. 이것은 작성자가 계획 프로세스 중에 수정할 수 있는 실제 환경의 3D 모델을 만드는 데 사용할 수 있습니다.