Die Innovationsabteilung für „Cognitive Services and Augmented Reality“ (CSAR Lab) von e.solutions hat die Eye Tracking Plattform Cockpit Vision für einen robusten und performanten Einsatz im Fahrzeug entwickelt. Die modulare Plattform erlaubt ein vielseitiges Anwendungsspektrum von Monitoring bis hin zur Fahrerinteraktion. Ein Tracking von Gesichts- und Augenmerkmalen in Echtzeit liefert nicht nur Kopfpose und Blickrichtung in 3D, sondern erfasst gleichzeitig Änderungen der Mimik. Neben einer Innenrauminteraktion durch den Fahrerblick kann somit auch dessen Zustand selbst erfasst werden und ein akkurates Driver Monitoring ermöglichen.
Das Video von unserer Cockpit Vision Plattform zeigt beispielhaft das Ein- bzw. Abblenden des Displays durch den Blick des Fahrers.
Eye Tracking bzw. die Blickrichtungserkennung spielt eine wesentliche Rolle in der Interaktion zwischen Mensch und Maschine und ermöglicht dadurch neue vielseitige Bedienkonzepte und Komfortfunktionen. In der Praxis finden sich Anwendungen zur Steuerung der Virtual oder Augmented Reality, für die kontaktlose Interaktion mit Displays im öffentlichen Raum oder am heimischen Fernseher sowie für das intelligente Cockpit im Auto.
Als integraler Bestandteil eines intelligenten Cockpits, kann mittels Eye Tracking eine Vielzahl innovativer Funktionen im Automobil realisiert werden. Neben einem kontaktlosen Bedienkonzept für allgemeine Steuerungselemente wie Displays, Lüfter und Fensterheber, lässt sich auch der Fahrerzustand anhand der Aufmerksamkeit prüfen.
Die Forschung und Entwicklung der Blickrichtungserkennung konzentriert sich bei e.solutions auf den automobilen Einsatz, der hohe Anforderungen an Zuverlässigkeit, Performanz und Flexibilität im Sinne eines möglichst breiten Anwendungsspektrums stellt. Diesen verschiedenen Herausforderungen begegnen wir mit einer mehrstufigen iterativen Strategie aus Design, Simulation und Prototypisierung sowie Evaluation.
Mit Hilfe einer realitätsnahen 3D Simulation des Cockpits und des Fahrers sowie seinem möglichen Bewegungsradius, kann ein Entwurf aus der Vielzahl an Designmöglichkeiten, z.B. Position und Stärke der IR Beleuchtung/-en sowie die Kameraposition, auf eine bestimmte Blickwinkelabdeckung hin optimiert werden. Folgendes Video zeigt eine Simulation dieser Effekte, sowie zusätzlich den Einfluss von Schattenwurf und Lichtreflexionen im Auge bei verschiedenen Personenkreisen mit und ohne Brille.
Der vielversprechendste Entwurf wird anschließend in einem echten Prototyp realisiert, um validiert und weiteren Experimenten und Probandentests unterzogen zu werden. Zu diesem Zweck haben wir einen portablen sowie funktionalen Cockpit Simulator aus dem Interieur eines Serienfahrzeugs gebaut und so variable, aber realitätsnahe Test- und Entwicklungsbedingungen geschaffen. Hier können nun neue Applikationen integriert und getestet werden, wie beispielsweise die Blickrichtungserkennung, bei der das Cockpit um eine IR Beleuchtung, Kamera und zusätzliche Displays erweitert wurde.
Unsere Cockpit Vision Software erweckt unseren Eye Tracking Demonstrator nun zum Leben wie das Video am Seitenanfang zeigt. Als exemplarische Anwendung ist ein Einblenden des Mitteldisplays bzw. ein Ausblenden des Beifahrerdisplays zu sehen, das durch den Blick des Fahrers ausgelöst wird, um beim Fahren vor störendem Blendlicht oder ablenkenden Inhalten auf dem Beifahrerdisplays geschützt zu sein.
Zur Evaluation der Genauigkeit der Blickwinkeldetektion wurde das Setup um Positionsmarkierungen ergänzt und in Probandentests verschiedenen Experimenten unterzogen. Folgende Grafik zeigt die Verteilung der ermittelten Blickpositionen von verschiedenen Fahrern und Posen für 9 verschiedene Markerpositionen.
Techniken zur Blickrichtungserkennung lassen sich grob anhand der benötigten Hardware und daraus resultierender Genauigkeit und Handhabung differenzieren. So erlauben beispielweise Headset-basierte Systeme – gewöhnlich bei Nutzerstudien oder in VR/AR Anwendungen im Einsatz – ein relativ akkurates Tracking der Augenbewegung, wegen der geringen Distanz zwischen Auge und der in der Brille integrierten Kamera. Sie benötigen aber zusätzlich ein Ortungssystem des Headsets im Raum. Aufgrund der extra benötigten Brille sind diese Systeme eher ungeeignet im automobilen Kontext. Tracking Systeme, die mit einer Kamera aus der Ferne arbeiten, setzen meist eine Erkennung der Pose des Kopfes voraus, sind aber deutlich vielseitiger und unaufdringlicher zu verwenden. Für den robusten Einsatz im Auto werden infrarot (IR) Lichtquellen und IR-sensitive Kameras eingesetzt, um äußere Beleuchtungseinflüsse wie Sonnenlicht oder Dunkelheit ausgleichen zu können.
Darüber hinaus kann die Position der externen Lichtquellen sowie deren Reflexion auf der Cornea des Auges genutzt werden, um die Blickrichtung akkurater zu bestimmen, als es nur mit Hilfe der Pupillen- und Kopfpose möglich wäre.
