Hintergrund

Die rasante Entwicklung von Automatisierungstechnologien im Cockpit sowie die Integration neuester Sensor- und Informationssysteme erhöhen stetig die kognitive Komplexität von Flugmissionen. Im Cockpit der Zukunft stehen Pilotinnen und Piloten vor der anspruchsvollen Aufgabe, eine Vielzahl von fliegerischen und militärischen Herausforderungen zeitgleich bewältigen, die zusätzlich taktisch im Team koordiniert werden müssen.

Dabei wird Multitasking – die gleichzeitige Ausführung mehrerer Aufgaben – zur unverzichtbaren Fähigkeit, um diese Herausforderungen erfolgreich bewältigen zu können. Die Modellierung und Vorhersage des Multitaskingverhaltens von Pilotinnen und Piloten bei Ausführung missionstypischer Aufgaben ist der Schlüssel zur Entwicklung neuer kognitiver Assistenzsysteme, welche Pilotinnen und Piloten bei der Erreichung vielfältiger Missionsziele unterstützen, und somit die Effizienz und Sicherheit von Flugmissionen erhöhen.

 

Unser Modellierungsansatz

Die Berücksichtigung von kognitiver Kontrolle - der Fähigkeit, aufgabenrelevante Ziele trotz potenzieller Ablenkungen effizient zu erreichen - wird bei klassischen, ressourcenbasierten Ansätzen zur Modellierung von Multitaskingverhalten im Cockpit vernachlässigt. Unsere Forschung untersucht den Zusammenhang zwischen unterschiedlichen Ausprägungen der kognitiven Kontrolle und der fliegerischen und militärischen Leistung unter kontrollierten Laborbedingungen sowie in realitätsnahen Virtual-Reality Flugmissionen. Im Mittelpunkt steht dabei die Analyse von Augenbewegungsdaten.

Screenshot 2024-05-31 143048.pngAbbildung einer Augenbewegung während einer in VR simulierten Flugmission.

 

Mithilfe neuester Algorithmen der Künstlichen Intelligenz (Machine Learning)  und der Bayesianischen Statistik haben sich diese Daten als hervorragende Prädiktoren für unterschiedliche Ausbildungsformen von kognitiver Kontrolle erwiesen. Ergänzend hierzu werden Daten zur kognitiven Leistung in den einzelnen Flugaufgaben und mentalen Arbeitsbelastung analysiert. Dieser Ansatz eröffnet neue Perspektiven zur Nutzerzustandsdiagnose im Rahmen der Entwicklung leistungsfähiger, adaptiver Assistenzsysteme. Zur Integration dieser in das Cockpit der Zukunft führen wir zudem Experimente durch, die Interaktionseffekte zwischen Ausprägungen der kognitiven Kontrolle und Systemen zur Nutzerunterstützung (z.B. (Teil-)Automatisierung von einzelnen Flugaufgaben oder 3D-Audio-Unterstützung bei der Funkkommunikation) erforschen. 

 

Durchgeführte Mensch-Maschine-Experimente

Im Folgenden erhalten Sie einen Einblick in die konkreten Fragestellungen der durchgeführten Experimente:

Experimentelle Manipulation des Kontrollmodus mittels Gamification

In drei Experimenten mit insgesamt über 100 Versuchsteilnehmenden wurde eine neue Gamification-Methode zur Manipulation von kognitiver Kontrolle entwickelt und in einer virtuellen Flugumgebung getestet. Untersucht wurden neben Leistungs- und Augenbewegungsdaten auch demografische Einflüsse, wie eine Präferenz für Multitasking, sowie die mentale Arbeitsbelastung.

 

_DSC0874.JPG
Experimentalaufbau mit stationärem Eye-Tracking.

Der Co-Pilot: Schlüssel zum Erfolg?

Da Flugmissionen oft in Formation oder mit Dual-Cockpit geflogen werden, muss bei der Modellierung von Multitaskingverhalten die Unterstützung durch einen Partner einbezogen werden. Das durchgeführte Experiment untersuchte, wie sich Leistung, Augenbewegungen und mentale Arbeitsbelastung bei Unterstützung durch einen Missionspartner verändern.  

 

Flexipilot.png
Experimentalaufbau der Co-Pilot-Studie.


Vom Labor ins Cockpit: Augenbewegungen und kognitive Kontrolle in VR-Flugmissionen

In zwei umfangreichen Studien mit über 80 Versuchsteilnehmenden wurde in unserem modernen Virtual-Reality Labor der Einfluss der kognitiven Kontrolle durch die Manipulation von Aufgabenpriorisierung und dynamischen Missionsveränderungen untersucht. Diese umfassen u.a. Tiefflüge und Variationen im Freund-Feind-Verhältnis während Aufklärungsmissionen.

_DSC1206.JPG
Experiment im VR-Labor.

Hierbei lautete die zentrale Forschungsfrage: Wie genau können die in der Laborumgebung identifizierten Eyetracking-Metriken zur Nutzerzustandsdiagnose verschiedene Ausprägungen der kognitiven Kontrolle in realitätsnahen Flugmissionen vorhersagen?


Der Weg in die Zukunft: Automatisierung und Kognitive Kontrolle im Cockpit

In einer Studie mit über 40 Probanden wurden die Auswirkungen von (Teil-)Automatisierung und kognitiver Kontrolle auf Leistungs- und Augenbewegungsparameter sowie das Vertrauen in die Automation bei Flugaufgaben untersucht. Die Ergebnisse lieferten wichtige Erkenntnisse für die Gestaltung von adaptiven Assistenzsystemen unter Berücksichtigung von kognitiver Kontrolle und verschiedener Automatisierungsstufen von Teilaufgaben.

 

_DSC0954.JPG

Auszug aus der Experimentalumgebung mit simuliertem Autopiloten.

 
 
 

3D-Audio im Cockpit: Evaluation eines akustischen Unterstützungssystems

Die räumliche Modulation von Funksprüchen mittels 3D-Audio bietet eine innovative Möglichkeit, die Funkkommunikation für Pilotinnen und Piloten in dynamischen Multitasking-Situationen zu unterstützen. Hierbei werden Funksprüche analog zur Position der Ursprungsschallquelle eines simulierten Formationsflug dargeboten.

_DSC0930.JPG
Auszug aus der virtuellen Flugumgebung mit simuliertem Formationsflug (oben rechts).

In Kooperation mit der Professur für Mechatronik der HSU evaluiert eine experimentelle Studie die Unterstützungsleistung dieses Systems auf die Multitaskingleistung, die mentale Arbeitsbelastung und Augenbewegungsmuster unter verschiedenen Ausprägungen der kognitiven Kontrolle in unserer virtuellen Flugsimulationsumgebung. Dabei trägt die Studie maßgeblich zur Entwicklung eines digitalen aktiven Kopfhörersystems für Luftfahrzeuge bei. 

Projektleiter

Univ.-Prof. Dr. Wolfgang Mack

Univ.-Prof. Dr. Wolfgang Mack

Univ.-Prof.
Gebäude 161, Zimmer 1013
+49 89 6004-4554

Wissenschaftliche Mitarbeiterin