Perception and observation with networked multi-agent systems for automated shipping and harbor applications

• Umgebungswahrnehmung und -beobachtung mittels vernetzter Multi-Agent-Systeme für automatisierte Schifffahrts- und Hafenanwendungen

Lin, Jiaying; Abel, Dirk (Thesis advisor); Schön, Steffen (Thesis advisor)

Aachen : RWTH Aachen University (2022)
Doktorarbeit

Dissertation, Rheinisch-Westfälische Technische Hochschule Aachen, 2022

Kurzfassung

Die Umgebungswahrnehmung ist ein grundlegendes Element automatisierter Schiffe, vor allem in oft überfüllten Bereichen wie Häfen. Die intelligenten Schiffe sollten die aktuelle Situation erkennen, das heißt, die Objekte in der Umgebung wahrnehmen und beobachten, um bei den hochautomatisierten Aufgaben wie autonomes Anlegen und kooperatives Manövrieren, mögliche Kollisionen zu vermeiden. In einem intelligenten Hafen für die zukünftige automatisierte Schifffahrt müssen die Schiffe echtzeitfähig miteinander kommunizieren um dadurch eine robuste Lokalisierung und Wahrnehmung zu erreichen. Mittlerweile haben Sensorfusion-basierte Umgebungswahrnehmung und -beobachtung viel Aufmerksamkeit für die maritime Anwendungen auf sich gezogen. Dennoch gibt es nur begrenzte Forschungen, die die Wahrnehmungssensoren intelligent integrieren. Für die Wahrnehmung und Lokalisierung vernetzter Systeme gibt es nur wenige Ansätze, die maritime Szenarien in der realen Welt betrachtet haben. In dieser Arbeit wird ein neuartiges Konzept der Umgebungswahrnehmung von Multi- Agenten-Systemen für die automatisierte maritime Anwendungen untersucht. Dieser Ansatz verwendet LiDAR als primären Sensor und AIS und Radar als unterstützende Informationsquellen und besteht aus vier Funktionsmodulen: Objekterkennung, Objektverfolgung, Kartierung der statischen Umgebung und vernetzte Lokalisierung. Zur Objekterkennung in der Umgebung sollen die LiDAR-Punktwolken so verarbeitet werden, dass die Punkte, die ein Objekt darstellen, extrahiert werden. In dieser Arbeit wird ein Convolutional Neural Network (CNN) eingesetzt, um verschiedene Punktwolkenmuster zu erkennen, Objekte aus diesen zu extrahieren und Bounding Boxes für die erkannten Objekte zu erzeugen. Anschließend werden die Objekte mit Hilfe einer Reihe von Kalman Filterbänken verfolgt, um dabei mögliche fehlerhafte Messungen und unterschiedliche Abtastraten zu kompensieren. Beim Kartieren der statischen Umgebung werden mehrere Polygone zur Darstellung der Objekte verwendet. Bei der vernetzten Lokalisierung werden die Beobachtungen mehrerer Schiffe in einen zentralen Server integriert, sodass die vernetzten Schiffe ihre Beobachtungen teilen und kooperativ optimieren können. Die Algorithmen wurden mit Testfahrten im Rostocker Hafen evaluiert, wobei die mit Navigations- und Wahrnehmungssensoren ausgestatteten Forschungsschiffe unterschiedliche Fahrszenarien, wie Anlegen und Manövrieren durchführten, und die vielversprechende Leistung der Algorithmen nachgewiesen wurde. Die in dieser Arbeit erläuterten Systeme und Verfahren ermöglichen eine robuste und präzise Lokalisierung von Schiffen und Hindernissen in maritimen Umgebungen, selbst bei hoher Verkehrsdichte.