Forschungsprofil

 

Unsere Forschung entwickelt grundlegende, übertragbare Fähigkeiten des maschinellen Lernens: die Bausteine, aus denen anwendungsspezifische Lösungen entstehen. Was unsere Arbeit verbindet, ist daher keine einzelne Problemdomäne, sondern eine gemeinsame Philosophie. Wir wollen die zugrunde liegenden Techniken verstehen und weiterentwickeln, die es intelligenten Systemen ermöglichen, komplexe Daten zu erfassen und auf ihrer Grundlage zu handeln. Auf der einen Seite steht das Wahrnehmen und Vergleichen von Daten: das Lernen von Repräsentationen hochdimensionaler, unstrukturierter Eingaben, sodass deren zugrunde liegende Struktur messbar wird. Auf der anderen Seite steht das Handeln und Schlussfolgern auf Basis strukturierten kausalen Wissens: Entscheidungen treffen, verallgemeinern und Verhalten begründen, statt lediglich Muster zu erkennen. Ein Leitprinzip zieht sich durch unsere gesamte Arbeit: Die von uns entwickelten Methoden müssen nicht nur genau, sondern auch dateneffizient und robust sein.

Ein Fundament unserer Arbeit ist das Repräsentationslernen. Darunter verstehen wir die Entwicklung von Modellen, die komplexe, hochdimensionale Daten wie Bilder, Videos, Texte und deren Kombinationen in Embedding-Räume abbilden, in denen semantisch bedeutsame Beziehungen direkt messbar werden. Ein Großteil unserer methodischen Expertise liegt im kontrastiven Lernen und im Metric Learning. Dabei werden Embeddings so angeordnet, dass zusammengehörige Instanzen nah beieinander und nicht zusammengehörige weit voneinander entfernt liegen. Zwei Aspekte sind besondere Stärken unserer Arbeit. Der erste ist der Umgang mit Hard Negatives, also leicht verwechselbaren Beispielen, die die Qualität der Repräsentation maßgeblich bestimmen. Der zweite sind effiziente Sampling-Strategien wie Locality-Sensitive Hashing, die das Training auch auf sehr großen Datensätzen handhabbar halten. Diese Grundlagen erlauben es, ein breites Spektrum scheinbar unterschiedlicher Probleme mit einer gemeinsamen Methodik anzugehen. Aufgaben wie Cross-View- und UAV-basierte Geolokalisierung, Spieler-Re-Identifikation und Bildsuche sind im Kern Matching-Probleme. Sie lassen sich darauf zurückführen, gelernte Repräsentationen zu vergleichen und Kandidaten nach Ähnlichkeit zu ranken. Dieselben Prinzipien lassen sich unmittelbar auf multimodale Szenarien übertragen, in denen visuelle, textuelle und weitere Modalitäten in einem gemeinsamen Repräsentationsraum ausgerichtet werden. Dazu gehören Vision-Language-Learning, die Anpassung großer vortrainierter Foundation Models und Zero-Shot-Transfer auf Aufgaben mit wenigen oder gar keinen gelabelten Daten. Die Prinzipien gelten ebenso für dichte Vorhersageaufgaben (Dense Prediction) wie die semantische Segmentierung, für die zeitliche Modellierung im Videoverständnis und für Multi-Task-Fusion.

Ein zunehmender Schwerpunkt unserer Forschung führt vom Lernen von Datenrepräsentationen hin zum Lernen von Handlungen. Im Zentrum stehen dabei Reinforcement Learning und Deep Reinforcement Learning, bei denen Agenten durch Interaktion mit einer Umgebung Verhalten erlernen, um ein langfristiges Ziel zu optimieren. Unser besonderes Interesse gilt dabei der Überwindung rein subsymbolischer Black-Box-Policies. Dazu integrieren wir neurosymbolische Ansätze und explizite kausale Strukturen in den Lernprozess. Statt eine Policy als undurchsichtige Funktion zu behandeln, verbinden wir die Stärke tiefer neuronaler Netze in der Mustererkennung mit symbolischem Wissen und strukturierten kausalen Modellen. Ein Beispiel dafür sind Ursache-Wirkungs-Beziehungen, die als Graphen wie Bayes’sche Netze dargestellt werden. Diese Arbeit baut zudem auf unserer Erfahrung mit probabilistischen grafischen Modellen im weiteren Sinne auf, insbesondere mit Bayesian Belief Networks. Diese Modelle bieten einen fundierten Rahmen, um Abhängigkeiten darzustellen und unter Unsicherheit zu schlussfolgern. Die Kodierung kausaler Strukturen zielt auf Agenten ab, die sample-effizienter, interpretierbarer und robuster gegenüber Verteilungsverschiebungen sind. Solche Agenten sollen außerdem über Interventionen schlussfolgern können statt nur über Korrelationen.

Ein weiterer Schwerpunkt liegt auf Robustheit und Generalisierung unter realen Bedingungen. Unsere Methoden müssen nicht nur unter kontrollierten Bedingungen zuverlässig bleiben, sondern auch bei Verteilungsverschiebungen. Dazu zählen wechselndes Wetter, Umgebungen, die sich im Laufe der Zeit verändern, sowie Variationen in Blickwinkel und Erscheinungsbild. Damit einher geht unser Anspruch an eine rigorose, reproduzierbare Evaluation. Wir erstellen Datensätze, Benchmarks und standardisierte Toolkits, die starke Baselines etablieren und Ergebnisse innerhalb der Community vergleichbar machen. Wir veröffentlichen sie nach den FAIR-Prinzipien, damit Daten und Code auffindbar, zugänglich, interoperabel und wiederverwendbar bleiben.

Konkrete Anwendungsfelder unserer bisherigen Arbeit sind Geolokalisierung, Sportvideoanalyse, Affective Computing, Deepfakes, die automatisierte Inspektion von Infrastrukturbauwerken, 3D-Szenenrekonstruktion sowie Detektionsaufgaben im Verteidigungs- und Sicherheitsbereich. Sie sind vor allem als Belege für die oben beschriebenen Fähigkeiten zu verstehen. Sie zeigen, wie sich ein kohärentes Set grundlegender Techniken des maschinellen Lernens auf sehr unterschiedliche Domänen übertragen und anpassen lässt.

Die regelmäßige Teilnahme an internationalen Forschungswettbewerben ist ein fester Bestandteil unserer Arbeitsweise. Solche Challenges bieten einen objektiven, extern definierten Maßstab dafür, wie gut unsere Methoden eine klar spezifizierte Aufgabe tatsächlich lösen. Bewertet wird dabei unter denselben Bedingungen wie für den Rest der Community. In diesen Wettbewerben haben sich unsere Ansätze nicht nur als konkurrenzfähig, sondern auch als originell erwiesen. Sie verbinden starke empirische Ergebnisse mit neuen methodischen Ideen. Über einzelne Platzierungen hinaus zeigt dies etwas, das für unser Selbstverständnis zentral ist: die Fähigkeit, theoretische und methodische Fortschritte in praxistaugliche Lösungen zu übersetzen. Diese Lösungen bewähren sich unter den konkreten Randbedingungen eines gemeinsamen Benchmarks und im direkten Vergleich mit anderen Ansätzen.