27.12.2021

Masterarbeit mit der IKS Teil 3

Ein Resümee zur Verbindung von Schiffen und Big Data

Im letzten Teil der Blogserie über seine Masterarbeit, fasst Mario zusammen wie seine Zusammenarbeit mit IKS war und warum er nicht der letzte Masterand bleiben sollte, der in diesen Genuss kam.

Dass heute auch Schiffe „Big Data“ produzieren hat mich im ersten Moment wirklich überrascht. Aber es zeigt nur einmal mehr, in welchen Bereichen des Lebens dieser „Hype-Begriff“ eine Rolle spielt. Der dritte und letzte Teil der Blog-Reihe über meine Masterarbeit fasst die wichtigsten Ergebnisse nochmal zusammen.

Bei der Vorbereitungsarbeit (hier geht es zum ersten Artikel der Serie) konnten wir gut sehen, dass „Big Data“ auch „Big Data Preparation“ erfordert. Ist die Vorarbeit hier nicht sorgfältig genug, kann sich das unter Umständen wie ein Rattenschwanz durch das gesamte Projekt ziehen. Daher ist es auf jeden Fall ratsam, genügend Zeit für diesen oftmals unterschätzten Teil der Arbeit einzurechnen. Nicht zu vergessen, ist die Einarbeitung in die eingesetzten Systeme und deren Zusammenspiel. Existieren bereits Vorkenntnisse im Betrieb mit Hilfsmitteln wie Docker ist das ein großer Vorteil. Da das bei mir nicht wirklich der Fall war, war ich sehr froh um die Kompetenz meines Betreuers von IKS.

Dass viele Wege zur gewünschten Lösung führen, konnte ich bei der Umsetzung im zweiten Teil zeigen. Um zu prüfen, ob und wie Kafka und Spark für den Umgang mit Daten mit georäumlichen Bezug verwendet werden können, erstellte ich verschiedene Beispiel-Szenarien. Teilweise mit Echtzeit-Anforderung, teilweise ohne. Anhand dieser Problemstellungen testete ich die Systeme. Dafür musste ich aus den Schiffsnachrichten, die anfangs nur durch Punkte dargestellt wurden, richtige geometrische Figuren basteln. Ein nicht ganz leichter, aber umso interessanterer Schritt.


Pipeline von der Produktion der Eingangsströme bis hin zur Visualisierung der Ergebnisse (Quelle: eigene Abbildung)

Sowohl Kafka als auch Spark konnten für den Einsatz mit Geodaten ausgerüstet werden und lieferten die gewünschten Ergebnisse. Die Fragestellung der Masterarbeit, inwiefern sich diese Datenstrom-Systeme für die Arbeit mit Geodaten eignen, war somit beantwortet. Da beide Systeme aber keine spezielle Funktionen für Geodaten anbieten, musste ich mich an Geodaten-Bibliotheken bedienen. Das erübrigt sich bei speziellen Geodaten-Verarbeitungssystemen wie Apache Sedona oder Geodatenbanken. Werden viele Geodaten-Formate oder auch -Funktionen benötigt, ist mein Tipp: Werfe frühzeitig einen Blick auf diese Systeme. Sie können die Arbeit erheblich erleichtern und verschlanken zugleich den Code. Relationale Datenbanken mit Geodaten-Funktionalitäten können sogar als Alternative zu den Streaming-Systemen angesehen werden. Das gilt dann, wenn die Echtzeit-Anforderungen nicht zu streng sind. Das zeigte ich mit einem sehr schnellen Vertreter, der analytischen Datenbank „Exasol“.

Die Masterarbeit während der Pandemie

zu schreiben war gar nicht so einschränkend, wie man vermuten würde. Der Großteil der Unternehmen schickte während der ersten Welle seine Mitarbeitenden ins Home-Office, falls es möglich war. Wegen der unklaren Lage verständigten sich die IKS und ich darauf, dass auch meine Masterarbeit komplett remote erarbeitet werden würde. Die Kommunikation zwischen Betreuer, Professor und mir klappte sehr gut, dank eines wöchentlichen virtuellen Treffens. Wir besprachen den aktuellen Stand und das weitere Vorgehen. Dazu zählten einerseits das Abstecken weiterer Inhalte, andererseits auch Hilfestellungen beim Lösen der Probleme. Zweifelsohne war dennoch unser einziges persönliches Treffen, das in Form eines „Kick-Offs“ noch vor Beginn der eigentlichen Arbeit stattgefunden hat, ein Highlight. Der Vorteil in Zeiten der Digitalisierung: Durch soziale Netzwerke fiel es recht leicht sich mit Menschen zu vernetzen, die mich während dieser besonderen Zeit des Studiums begleitet haben. Ich freue mich auf jeden Fall auf einen Besuch bei der IKS, wenn ich mal wieder urlaubsbedingt in der Gegend bin!

Nun bin ich am Ende meiner Blog-Reihe angekommen. Ich hoffe, ich konnte zumindest einen kleinen Einblick in meine Masterarbeit und das Drumherum geben. Sowohl ich als auch die IKS haben viel dabei gelernt. Ich war schließlich der erste Master-Student, der in Kooperation mit der IKS seine Abschlussarbeit angefertigt hat. Ich sollte aber nicht der Letzte sein!

Wie kam es eigentlich zur Zusammenarbeit mit IKS und wie wurde das Thema der Masterarbeit festgelegt? Darum geht es in

Masterarbeit mit der IKS Teil 1

Wie es von der Planung in die Umsetzung weiterging erklärt Mario in

Teil 2 der Serie Masterarbeit mit der IKS