211service.com
Nvidias Eye-Tracking-Technologie könnte die virtuelle Realität revolutionieren
Sehen Sie sich eine Uhr an einer Wand in der Nähe an. Der Brennpunkt Ihres Blicks sollte scharf sein, während die Szene rund um die Uhr verschwommen ist, als würde Ihr Gehirn Ihre Umgebung skizzieren oder, in Computergrafik ausgedrückt, eine Version der Szene mit niedriger Auflösung rendern.
NVIDIA wendet den gleichen Trick beim Rendern der virtuellen Realität an und könnte dazu beitragen, den Realismus virtueller Welten erheblich zu verbessern. Indem die Grafikwiedergabeleistung auf einen kleineren Bereich konzentriert wird, ist es möglich, das Bild, das eine Person sieht, deutlich zu schärfen.
Leonardo da Vinci war der Erste, der dieses visuelle Phänomen, das sogenannte Fovealsehen, im 15. Jahrhundert bemerkte. David Lübke hat zusammen mit vier anderen Forschern bei Nvidia die letzten neun Monate damit verbracht, das Prinzip in VR nachzuahmen, indem nur der spezifische Bereich, in den ein Spieler schaut, vollständig gerendert und der Rest der Szene in einer weitaus niedrigeren Auflösung belassen wurde.
Diese virtuelle Szene wurde mit Nvidias fovealem Sichtansatz gerendert, der den Fokus des Blicks des Benutzers verfolgt und die periphere Sicht um ihn herum verwischt.
Wenn sich der Spieler, der das Nvidia-System verwendet, auf einen neuen Bereich der Szene konzentriert, verschiebt Eye-Tracking-Software den Fokus des Renderings in Form von Sachleistungen. Um eine vollständige Szene in VR mit 90 Bildern pro Sekunde zu rendern, der niedrigsten akzeptablen Bildrate in VR, bevor Benutzer anfangen, Übelkeit zu melden, müssen vier Millionen Pixel fast hundertmal pro Sekunde gerendert werden. Indem das Rendering jedoch nur auf die Sichtlinie des Spielers fokussiert wird, können enorme Recheneinsparungen erzielt werden. Die Leistungssteigerungen seien zu groß, um ignoriert zu werden, sagt Lübke.
Das Prinzip ist in der VR-Forschung nicht neu. „Das Prinzip ist in der VR-Forschung nicht neu. Tatsächlich verwendet das von Kickstarter unterstützte Fove-Headset ein ähnliches System (siehe „Point, Click, and Fire in Virtual Reality—With Just Your Eyes“). Luebke hat einen Großteil der letzten 15 Jahre damit verbracht, das Gebiet zu studieren, zuerst als Professor an der University of Virginia und jetzt bei Nvidia. Bisher hatte die Eye-Tracking-Technologie jedoch Schwierigkeiten, mit der peitschenschnellen Geschwindigkeit der menschlichen Augenbewegungen Schritt zu halten, was zu einem magenumdrehenden Latenzeffekt führte, wenn ein Benutzer beispielsweise von der linken Seite einer Szene nach rechts wechselt. Ein neuer Prototyp eines Eye-Tracking-VR-Displays von Sensomotorische Instrumente ist in der Lage, genaues Eye-Tracking mit geringer Latenz bei 250 Hertz durchzuführen. Erstmals haben wir Eyetracker, denen man mit den Augen nicht davonlaufen kann, erklärt Lübke.
Selbst mit dieser Fähigkeit musste das Team von Nvidia viel Zeit damit verbringen, genau zu berechnen, um wie viel es die Auflösung der Peripherie einer Szene verringern könnte, bevor ein Betrachter es bemerkt. Das periphere Sehen kann Flimmern sehr gut erkennen, erklärt Lübke. Es wird verwendet, um uns zu helfen, Tiger im Wald zu sehen.
Als solches ist jedes Flimmern von der Verschlechterung beunruhigend. Ebenso kann eine zu unscharfe Peripherie einen Tunnelblickeffekt erzeugen, als würde der Betrachter durch ein Fernglas blicken. Man merkt, dass etwas nicht stimmt, auch wenn man nicht genau sagen kann, was, sagt Lübke.
Um das Problem zu lösen, stellten die Forscher von Nvidia fest, dass der menschliche Verstand vollständig getäuscht wird, wenn sie den Kontrast der peripheren Szene erhöhen und gleichzeitig die Auflösung verringern.
Obwohl Nvidia keine Produkte in Produktion hat, die diese Technik ermöglichen, hofft das Unternehmen, das Hard- und Software für viele VR-Unternehmen bereitstellt, dass seine Ergebnisse die großen Headset-Hersteller dazu ermutigen werden, Eyetracker in ihre zukünftigen Head-Mounted-Displays aufzunehmen. Ein Teil dessen, was wir hier tun, hilft dabei, die Verkehrsregeln für VR zu definieren, sagt Lübke.
Es ist unwahrscheinlich, dass die Technologie außerhalb von VR – zum Beispiel in Laptops – zum Einsatz kommt, da Eyetracker viel weniger effizient sind, je weiter sie vom eigenen Gesicht entfernt sind. VR, wo der Tracker wenige Zentimeter vom Auge entfernt sitzt, bietet hingegen die ideale Paarung. Die Technologie wird sich wahrscheinlich auf die zukünftigen Grafikkarten des Unternehmens auswirken und Entwicklern die Möglichkeit geben, die Rechenverarbeitung auf bestimmten Pixeln zu priorisieren und Rendering-Algorithmen neu zu definieren.