Wie aus Daten Wissen wird

Ein Data Lake ist eine Metapher für ein technisches System, das in der Lage ist, sehr große Datenmengen zu speichern und zu verarbeiten. Dies geschieht durch den Zusammenschluss vieler Rechner zu einem Clusterverbund. Die Datenhaltung- und verarbeitung erfolgen verteilt in diesem Cluster, wodurch die Verarbeitung sehr großer Datenmengen möglich wird. Wie Wasser in einen See fließen Daten in unterschiedlicher Form in den Data Lake. Data Lakes sind aufgrund ihrer Architektur leicht erweiterbar.

Der Data Lake basiert vollständig auf Open Source Produkten aus dem Big Data Umfeld. Dazu gehören Hadoop mit HDFS und YARN für die Verwaltung von Storage, CPU und RAM. Die strukturierte Ablage der Daten erfolgt über Hive, HBase und Avro. Für Import, Streaming und Transformation von Daten dienen SQOOP, Kafka und Spark. Zur Jobsteuerung wird Oozie eingesetzt. Daneben sorgen Produkte wie Atlas, Zookeeper, Ambari und Ansible für den ausfallsicheren Betrieb der Plattform. Apache Zeppelin ermöglicht, es Data Scientists explorative Analysen durchzuführen. Bestehende Systeme werden mittels ODBC/JDBC angebunden. Die Technologieauswahl ermöglicht prinzipiell unbegrenzte technische und wirtschaftliche Skalierbarkeit, die den Wachstumsanforderungen der TIMOCOM entspricht. All diese Produkte arbeiten im Verbund als integrierte Gesamtlösung und sind angebunden an die bestehende Business Intelligence Lösung. Die Visualisierung erfolgt auf der Basis von Power BI (siehe Abbildung 2). Betrieben wird der Data Lake On Premise in den Rechenzentren der TIMOCOM, in einer ausfallsicheren Topologie. Sie erfüllt damit die hohen Anforderungen von TIMOCOM an Datensicherheit, Verfügbarkeit und hohe Kosteneffizienz. Ergänzt wird die Lösung um ein leichtgewichtiges, selbst entwickeltes Monitoring (Mole), dass die Live-Überwachung aller betriebswichtigen Ressourcen ermöglicht (siehe Abbildung 3).

TIMOCOM benötigte zu Beginn der Initiative Unterstützung und personelle Ressourcen, um den Aufbau und Betrieb der neuen Lösung zu implementieren (siehe Abbildung 4). Die angestrebte Lösung wies eine hohe Komplexität auf. Die erforderliche Expertise musste also im Rahmen des Projektes ausgebaut werden.

TIMOCOM verfügte zu Beginn über wenig Expertise im Bereich der Big Data Technologien. Der Markt stellte ebenfalls kaum Experten bereit. Zudem sollte internes Know-how aufgebaut werden, um langfristig handlungsfähig zu sein.

Um die Plattform effizient entwickeln und betreiben zu können, wurde ein neues Team etabliert. Geeignete Teammitglieder fand man durch die Entwicklung eines funktionalen Prototypen, der bereits typische Anwendungsfälle abgebildet hat. Der Prototyp wurde innerhalb weniger Wochen von einem externen Lead Developer entwickelt und den Mitarbeitern im Rahmen einer mehrwöchigen Roadshow vorgestellt. Dadurch konnte das Verständnis für die Data Lake Plattform in der Organisation gestärkt werden. Gleichzeitig nutzte man die Gelegenheit, so Mitarbeiter zu identifizieren, die sich für diese Technologien interessieren. Im Ergebnis sind Menschen zusammengekommen mit hohem Interesse und großer Motivation für das Thema.

Die vorhandenen Fähigkeiten wurden über Skillmatrizen ermittelt (Abbildung 4). Nach der GAP-Analyse hat sich das Team im Rahmen des Projektes aktiv mit Skillentwicklung beschäftigt, immer mit starkem Bezug zur Problemstellung. Dabei wurden moderne Formen der Zusammenarbeit, Scrum und Pair Programming genutzt. Gelerntes wurde unmittelbar präsentiert und an die Gruppe weitergegeben. Der Lead Developer hat das Team begleitet und zum Wissensaufbau beigetragen.

Nach einiger Zeit war das Team in der Lage, die Plattform eigenständig zu betreiben. Dazu hat es agile Vorgehensweisen und agile Engineering Praktiken immer weiter eingeübt. In Reviews und Retrospektiven wurde die eigene Arbeit im Sinne von Inspect & Adapt kontinuierlich verbessert. Hohe Transparenz und Prognosen ermöglichen die Steuerbarkeit des Vorhabens. Von Anfang an wurde darauf geachtet, dass keine Wissensmonopole entstehen, die die Resilienz des Teams beeinträchtigen würden. Ausgeprägte Lernkultur und iteratives Vorgehen nach Scrum sind zentralen Erfolgsfaktoren um die komplexe Technologie erfolgreich einzusetzen.

TIMOCOM ist es gelungen, in nur neun Monaten (654 Personentagen) mit einem 7-köpfigen Team eine vollständig neue Big Data Plattform in Produktion zu bringen und zu betreiben. Die Plattform stellt die Basis für neue, anspruchsvolle Anwendungsfälle im Bereich Advanced Analytics und Machine Learning dar. Das neue Team dient als Lernraum und Leuchtturm für die weitere agile Ausrichtung des Unternehmens. Damit macht sich TIMOCOM fit für die Zukunft im Bereich Big Data, maschinellem Lernen sowie beim Einsatz moderner, agiler Methoden.