Die NeRF-KI von NVIDIA verwandelt 2D-Fotos sofort in 3D-Objekte

NVIDIA hat die NeRF-Technik zur nahezu sofortigen Erstellung von 3D-Objekten aus 2D-Fotos erheblich verbessert.

Eine neue Technologie namens Neural Radiance Field (NeRF) nutzt Lernalgorithmen künstlicher Intelligenz, um 3D-Objekte aus 2D-Fotos zu erstellen. NeRF hat sozusagen die Fähigkeit, die Lücken zu füllen, indem es interpoliert, was 2D-Fotos nicht erfassen können. Dies ist eine sehr interessante Errungenschaft, die zu erheblichen Fortschritten in so unterschiedlichen Bereichen wie Videospielen oder autonomem Fahren führen könnte. Jetzt hat NVIDIA eine neue Technologie entwickelt, NeRF, die nach Angaben des Unternehmens die bisher schnellste ist und in nur wenigen Sekunden erlernt werden kann, wie man eine 3D-Szene erstellt.

NVIDIA verbessert die NeRF-Technik erheblich

Es dauert nur wenige Sekunden, das Instant NeRF-Modell anhand Dutzender Standbilder und Kamerawinkel zu studieren. Danach ist das System in der Lage, in „einigen zehn Millisekunden“ eine 3D-Szene zu erzeugen. Wie bei jeder anderen NeRF-Methode müssen Sie Bilder in verschiedenen Positionen aufnehmen. Und bei Fotos mit mehreren Szenen ist es besser, Bilder ohne unnötige Bewegung zu haben, da das Ergebnis sonst unscharf wird.

Erstellen Sie fast im Handumdrehen 3D-Objekte aus 2D-Fotos

NVIDIA erklärt, dass die ersten NeRF-Modelle relativ schnell Ergebnisse liefern. Sie benötigen nur wenige Minuten, um eine 3D-Szene zu erstellen, selbst wenn das Objekt in manchen Bildern durch eine Säule oder Möbel verdeckt wird. Die Schulung dauert mehrere Stunden. In der NVIDIA-Version dauert dieser Schritt nur wenige Sekunden, da eine vom Unternehmen entwickelte Technologie namens „Multi-Resolution Hash Grid Encoding“ verwendet wird, die für optimale Leistung auf den GPUs dieser Marke optimiert ist. Das System kann sogar auf einer einzelnen GPU laufen, wobei die schnellsten Ergebnisse auf Boards mit Tensor-Kernen erzielt werden, was für Leistungssteigerungen bei allen KI-Aufgaben sorgt.

Das Unternehmen ist davon überzeugt, dass Instant NeRF dazu genutzt werden kann, Roboter zu trainieren und autonomen Fahrsystemen dabei zu helfen, die Größen und Formen von Objekten in der realen Welt zu verstehen. NVIDIA sieht auch Chancen für Technologien in den Bereichen Unterhaltung und Architektur. Damit lassen sich 3D-Modelle realer Umgebungen erstellen, die Ersteller während des Planungsprozesses modifizieren können.