Lehre

MA1: Zuverlässige Vorhersage von Trajektorien ungeschützter Verkehrsteilnehmer im urbanen Verkehr

Um eine sichere und zuverlässige Fahrt eines autonomen Fahrzeugs im urbanen Verkehr zu ermöglichen ist es notwendig, das Verhalten von anderen Verkehrsteilnehmern, insbesondere von ungeschützten Verkehrsteilnehmern (VRUs), zu verstehen und zu antizipieren. Eine Möglichkeit zur Bewegungsantizipation von Verkehrsteilnehmern ist die Vorhersage ihrer zukünftigen Trajektorien. Die Trajektorienvorhersage von Verkehrsteilnehmern in einem komplexen, urbanen Umfeld ist nicht trivial, da das Verhalten von Verkehrsteilnehmern extrinsich beeinflusst wird. Das umfasst Interaktionen zwischen Verkehrsteilnehmern, Verkehrsregeln, oder die gegebene Straßentopologie.  Es sollen probabilistische Methoden zur Mutli-Agent Trajektorienvorhersage entwickelt bzw. bestehende Methoden angewandt werden. Hierbei soll explizit die Interaktion zwischen verschiedenen Verkehrsteilnehmern mit modelliert werden. Diese Methoden sollen unter Berücksichtigung der Zuverlässigkeit und der Nutzbarkeit der Vorhersagen evaluiert werden. Als Datenbasis dient die Forschungskreuzung der TH Aschaffenburg.

Zu den Aufgaben zählen die Anwendung von Methoden des maschinellen Lernens sowie zur Datenverarbeitung und (Echtzeit-)Programmierung in Python und/oder C++, sowie Robot Operating System (ROS).

MA2: Extraktion von Wissen aus der Intentionserkennung ungeschützter Verkehrsteilnehmer

Das Ziel dieser Masterarbeit ist es, eine Methode zu entwickeln, um Wissen aus einem bereits gelernten Modell für die Intentionserkennung ungeschützter Verkehrsteilnehmer zu extrahieren. Das gewonnene Wissen soll dabei plausibilisiert werden, um es wieder nutzbar für andere Anwendungen zu machen. Dabei soll das gewonnene Wissen so aufbereitet werden, dass es zum einen wieder beim Trainieren eines neuen Modells eingesetzt werden kann, als auch zur Erklärung der Prädiktionen der Intentionserkennung eingesetzt werden kann. Ersteres hilft dabei die Anzahl der benötigten Datenpunkte beim Lernen von Modellen zu reduzieren und letzteres kann bei sicherheitskritischen Anwendungen notwendig sein.

Diese Arbeit wird in Kooperation zwischen der Technischen Hochschule Aschaffenburg und der Continental Teves AG & Co. OHG durchgeführt.

MA3: Algorithmen zur Wahrnehmung der Umgebung für autonome Flurförderzeuge

Ziel der Arbeit ist die Integration von geeigneten Perzeptionsalgorithmen in ein Sensorframework. Die Algorithmen sollen eine Repräsentation des direkten Umfeldes von Flurförderzeugen aus mehreren Sensoren erstellen. Die Detektion von Objekten in der Umgebung erfolgt mithilfe von maschinellem Lernen. Methoden des maschinellen Lernens, Sensordatenverarbeitung und Implementierung sollen mit Python durchgeführt werden.

MA4: Bildbasierte Objekterkennung auf Basis von CAD Modellen

Assistenzsysteme können in Industrieprozessen verwendet werden, um Werker zu schulen, aber auch, um Werker zu helfen, ein dauerhaft hohes Qualitätslevel zu halten. Die meisten Assistenzsysteme basieren auf der Erkennung von Points of Interest, wie z.B. Händen, Fingern, Arbeitsgeräten, usw. Da Arbeitsplätze meist nicht für alle Montageschritte genormt aufgebaut werden können, besteht eine wesentliche Herausforderung darin, Bauteile und Werkzeuge robust und automatisiert auf dem Arbeitsplatz zu lokalisieren. Um den Aufwand der Erzeugung großer Datenmengen für KI-Algorithmen zu umgehen, sollen z.B. 3D-Zeichnungen oder 2D-Detailaufnahmen für die Erkennung verwendet werden.

BA1: Training und Optimierung von neuronalen Netzen zur Erkennung von Körperposen in Kamerabildern. (Hetzel/Schneider)

Aktuelle Fahrerassistenzsysteme nutzen nur die grundlegende Objekterkennung für die Umfeldwahrnehmung und Bewegungsantizipation. Bezieht man zusätzliche Informationen, wie z. B. Gelenkpunkte/Körperposen  von Fußgängern und Radfahrern mit ein, so kann die Umfeldwahrnehmung und Bewegungsantizipation zukünftig, dank dieser Zusatzinformationen, deutlich verbessert werden. Mittels künstlicher Intelligenz sollen bildbasiert Gelenkpunkte/Körperposen von Fußgängern und Radfahren zuverlässig erkannt werden. Anschließend sollen die einzelnen 2D Posen über Sequenzen zu kompletten Bewegungsabläufen zusammengeführt werden. Kenntnisse im Bereich Datenverarbeitung sowie der Programmiersprache C++/Python sind hilfreich.

BA2: Erkennung von Aktivitäten in manuellen Montageprozessen durch Methoden des maschinellen Lernens. (Hubert)

Es sollen Aktivitäten aus Videodaten bzw. daraus abstrahierten Daten (z. B. Bewegung der Hände) erkannt werden. Die Erkennung der Aktivitäten dient der Qualitätssicherung und soll zudem zu Schulungszwecken zum Einsatz kommen. Die Programmierung erfolgt mit der Sprache Python.

BA3: Textuelle Beschreibung von Videosequenzen durch Deep Learning Methoden  (Hubert)

Im Bereich der Qualitätssicherung in der manuellen Montage sollen generalisierte Transformer Netze (vergleichbar mit DALL-E) auf Bildebene angewandt werden und daraus beschreibender Text erzeugt werden. Zielsetzung ist die Evaluierung von veröffentlichten Modellen. mit subjektiver Bewertung der Modellgüte. Die Umsetzung erfolgt in der Programmiersprache Pytho, nach Absprache ist aber auch eine andere geeignete Sprache möglich.

BA4: Echtzeitfähige semantische Kartierung von LiDAR Daten für autonome Fahrzeuge (Reichert/Schreck)

Zur sicheren Navigation von autonomen Fahrzeugen ist ein robustes Verständnis des Umfelds notwendig. Dazu gehört sowohl die Erkennung von Fahrbahnen, um zu wissen, wohin ein autonomes Fahrzeug navigieren kann, als auch die Erkennung von dynamischen Objekten, wie z. B. Personen, um Unfälle oder Gefahrensituation rechtzeitig zu vermeiden. Hierzu nutzen die Versuchsfahrzeuge des KAV Labors (1x Opel Insignia, 1x Linde Stapler) LiDAR (Light Detection and Ranging) Sensoren. Diese Sensoren umfassen zu jedem Zeitpunkt eine 3D-Punktwolke um das Fahrzeug. Im Rahmen der Arbeit soll zunächst ein bestehendes Modell zur “panoptischen Segmentierung” auf interne Daten des KAV Labors erweitert werden. Im Anschluss sollen in einem Echtzeitsystem (ROS) die segmentierten Punktwolken verwendet werden, um über die Zeit und durch Eigenbewegung der Fahrzeuge eine 3D-Karte zu erstellen.  Die Umsetzung erfolgt in der Programmiersprache Python. Ein gutes 3D Verständnis und idealerweise Kenntnisse mit CAD Programmen sind wünschenswert.

BA5:    Augmentierung von Punktwolken (Hetzel)

Für das Anlernen von KI Methoden zur Objekterkennung auf neue und ungesehene Klassen soll eine Methode entwickelt werden, mit welcher 3D-Modelle von verschiedenen Objekten zufällig in einer Punktwolke platziert werden können und im Anschluss in die Auflösung eines LiDAR (Light Detection and Ranging) Sensoren gebracht werden. Der Nutzen dieser Methode soll exemplarisch an dem Training einer Objekterkennung auf LiDAR Daten demonstriert werden. Die Umsetzung erfolgt in der Programmiersprache Python.

BA6: Erkennung von 3D Objekt-Cuboids in Punktwolken

Auf Basis von LiDAR Punktwolken sollen in Echtzeit 3D Cuboids erkannt werden. Ein 3D Cuboid beschreibt die Position und Orientierung eines Objekts, z. B. eines Fahrzeugs im Raum. Für die Erkennung soll ein bereits existierendes Modell auf Daten des KAV Labors erweitert werden. Die Umsetzung erfolgt in der Programmiersprache Python.

BA7: Fusion von Sensordaten und Erzeugung einer Occupancy Grid Map (Schreck)

Um ein globales Umfeldmodell zu generieren, sollen Sensorinformationen von verschiedenen Fahrzeugen ausgetauscht und fusioniert werden. Anschließend soll eine Occupancy Grid Map der fusionierten Sensorinformationen erstellt werden, um Freiflächen und Objekte im Umfeld der Fahrzeuge darzustellen. Zu berücksichtigende Sensoren sind LiDAR und Kameras. Die Implementierung soll in einem Docker Container mit ROS1, ROS2 und Python erfolgen.

SA1: Tiefenkartenbasierte Detektion einer Aktivität an einem manuellen Montagearbeitsplatz

Im Rahmen eines Industriearbeitsplatzes soll ein Verfahren zur Erkennung von verschiedenen positions-definierten Tätigkeiten auf Basis von Tiefeninformationen implementiert und getestet werden.

SA2: Verbesserung der Genauigkeit von Kamerakalibrierungen durch Verwendung einer Dreieck-Struktur (Zang/Hubert)

Standardmäßig werden Schachbrettmuster zur Kalibrierung von Kameras herangezogen. Durch eine Verwendung einer Dreiecks-Struktur im Vergleich zu einer Quadrat-Struktur, kann die Subpixelgenauigkeit der Eckenerkennung und damit auch der Kamerakalibrierung verbessert werden. In der Arbeit soll ein Vergleich zwischen dem Erkennungsfehler von Ecken in Dreieck-Strukturen und dem in Schachbrettmustern durchgeführt werden.  

SA3: Erkennung von 3D Objekt-Cuboids in Punktwolken (Reichert)

Auf Basis von LiDAR Punktwolken sollen in Echtzeit 3D Cuboids erkannt werden. Ein 3D Cuboid beschreibt die Position und Orientierung eines Objekts, z. B. eines Fahrzeugs im Raum. Für die Erkennung soll ein bereits existierendes Modell auf Daten des KAV Labors erweitert werden. Die Umsetzung erfolgt in der Programmiersprache Python.

SA4: Semantische Kartierung von Punktwolken für autonome Fahrzeuge (Reichert/Schreck)

Zur sicheren Navigation von autonomen Fahrzeugen ist ein robustes Verständnis des Umfelds notwendig. Dazu gehört sowohl die Erkennung von Fahrbahnen, um zu wissen, wohin ein autonomes Fahrzeug navigieren kann, als auch die Erkennung von dynamischen Objekten, wie z. B. Personen, um Unfälle oder Gefahrensituation rechtzeitig zu vermeiden. Hierzu nutzen die Versuchsfahrzeuge des KAV Labors (1x Opel Insignia, 1x Linde Stapler) LiDAR (Light Detection and Ranging) Sensoren. Diese Sensoren umfassen zu jedem Zeitpunkt eine 3D-Punktwolke um das Fahrzeug. Im Rahmen der Arbeit soll zunächst ein bestehendes Modell zur “semantischen Segmentierung” auf interne Daten des KAV Labors erweitert werden

SA5: Aufbau und Evaluation eines ROS2 Kommunikationsstack zum Austausch von Objektinformationen (Schreck)

Um Daten in Echtzeit zu übertragen, soll ein ROS2 Stack aufgebaut werden, um Objektlisten zwischen einer zentralen Recheneinheit mit dezentralen Clients auszutauschen. Nach dem Aufbau soll eine Evaluation der Übertragungsgeschwindigkeit, sowie der Übertragungsgröße erfolgen. Die Implementierung soll in einem Docker Container mit Python erfolgen.

SA6: Implementierung einer Pipeline zur Generierung von GT-Daten von 3D-Körperposen im Kreuzungsumfeld (Hetzel/Schneider)

Im Straßenverkehr der Zukunft werden zunehmend stärker automatisierte Fahrzeuge beteiligt sein. Um die Sicherheit von ungeschützten Verkehrsteilnehmern (VRU) zu erhöhen, soll deshalb ihre zukünftige Position bestimmt und herannahenden Fahrzeugen zur Berücksichtigung bereitgestellt werden. Eingangsdaten für dieses Trajektionsprädiktionsmodell an der Forschungskreuzung sind zugehörige 3D-Körperposen der VRUs, die aus den 2D-Posen in den Kamerabildern generiert werden. Zur Erzeugung dieser wird ein sogenanntes „Posenlifting“ verwendet, um die fehlende dritte Dimension zu schätzen. Zur Optimierung des eingesetzten Modells wird jedoch ein GT-Datensatz benötigt. Ein bildbasierter, markerloser Ansatz ist EasyMocap (https://github.com/zju3dv/EasyMocap), der verwendet werden kann, um diese Daten zu generieren. Nach erfolgreicher Implementierung der Pipeline sollen zudem Trainings durchgeführt und evaluiert werden, um die Optimierung des Liftingmodells zu analysieren. Die Implementierung soll in einem Docker Container mit Python erfolgen und nach Sicherstellung eines dadurch verbesserten Liftingmodells (MHFormer) in ein vorhandenes Framework integriert werden. Entsprechende Vorkenntnisse sind wünschenswert.