Fahrerbeobachtung
Systemkomponente
Die CanControls GmbH entwickelt im Rahmen des Projektes die Fahrerbeobachtung mit Hilfe von Innenraumsensorik in Form von Nearinfrared (NIR) und Time-of-flight (ToF) Kameras und stellt damit Merkmale zur Einschätzung des Fahrerzustandes der Fahrermodellierung zur Verfügung. Die Merkmale der Mimik- und Körperanalyse werden fusioniert um auf Aktivitäten des
Fahrers schließen zu können.
- Bild: Gesichtsmerkmale und Heatmap der Blickrichtung
Gesichtsmerkmale
Das Gesicht verrät viel über den inneren Zustand eines Menschen. Der Fahrer wird daher mit zwei NIR Kameras beobachtet um eine Vielzahl von Merkmalen bei einer hohen Verfügbarkeit erfassen zu können. Dabei handelt es sich um äußerliche Merkmale wie die Gesichtsform und -Position, Augen- und Mundöffnung sowie Blickrichtung, aber auch um die Zuordnung der Mimik zu Action Units nach dem Facial Action Coding System (FACS).
Körperposenschätzung
Die Analyse der Körperpose erfolgt auf Basis eines ToF Tiefensensors. Dieser liefert eine Tiefenkarte, welche als 3D-Punktwolke interpretiert werden kann und mit Hilfe von Convolutional Neural Networks ausgewertet wird.
Gestenerkennung
Basierend auf der detektierten Handposition sowie der im Tiefenbild zuverlässig segmentierbaren Handform können grundlegende Steuersignale in Form von Gesten als Eingabemodalität genutzt werden. Diese setzen sich zusammen aus dynamischen Wischgesten und statischen Handformgesten.
Zuordnung von Aktivitäten
Die Kenntnis darüber, wohin der Fahrer schaut, wohin er greift oder mit welchem Gegenstand er interagiert ermöglicht eine Einschätzung seiner gerade ausgeführten Tätigkeit und so eine Zuordnung zu relevanten Anwendungsfällen.
- Bild: Körperposenschätzung
Tango 