Adobe wandelt 360°-Videos in volumetrisches VR

Um etwas scheinbare Tiefe in flache, monoskopisch aufgenommene 360-Grad Clips zu bringen – Immersion lautet ja das neue Trendwort – arbeitet Adobe an neuen Warping Algorithmen, die dem Material nachträglich die gehypten „Six degree of freedom“ (6-DoF) erschließen sollen. In solchen stereoskopischen Videos kann man bei Betrachtung in einem VR-Headset nicht nur den Bildausschnitt verändern, indem der Kopf gedreht wird, sich also in einer statischen Ansicht umsehen, sondern die Lage der Bildinhalte verändern sich zu einander, wenn man den Kopf bewegt – wie im echten Leben. Dafür müssen jedoch für jeden Bildpunkt die Raumkoordinaten vorhanden sein, was bei normalen 2D-Aufnahmen bekanntlich nicht der Fall ist.

Adobe zeigt in seiner Demo nun ein Video, bei dem die 3D-Raumgeometrie nachträglich errechnet wird, wofür allerdings die große Voraussetzung ist, dass die monoskopische Kamera bei der Aufnahme durch den Raum bewegt wird, damit verschiedene Perspektiven zu sehen sind (structure-from-motion / SfM). Nachdem in einem zweiten Schritt das Bildmaterial mit den Tiefendaten zusammengeführt wurde (spherical panorama warping), können entsprechend der getrackten Bewegungen des Headsets neue Ansichten synthetisch erstellt werden, angeblich auch von handelsüblichen Grafikkarten in Echtzeit bei 120fps.

Das Ganze funktioniert allerdings nicht fehlerfrei, denn wenn sich beispielsweise Objekte im Bild verdecken, fehlen natürlich an diesen Stellen Daten. Wie die Adobe Entwickler betonen, lässt sich die demonstrierte Technik vor allem auch dazu verwenden, um 360° Videomaterial nachträglich zu stabilisieren. Wann mit einem anwendungsfertigen Programmcode zu rechnen ist, dazu gibt es noch keine Andeutungen.