Success Stories Jede Idee ist nur so gut, wie ihre Umsetzung

Zielsetzung

Das Ziel war die technische Modernisierung der Plattform und nicht die Einführung neuer Funktionen.
Für die Fachanwender sollte sich möglichst nichts ändern:

• Bestehende Berichte sollten unverändert nutzbar bleiben.
• Vorhandene Datenmodelle sollten erhalten werden.
• Der laufende Betrieb sollte während der Migration sichergestellt werden.
• Der Wechsel auf die neue Plattform sollte mit minimalen Auswirkungen auf die Anwender erfolgen.

Gleichzeitig sollte eine Grundlage geschaffen werden, um die Datenplattform langfristig auf einer von Microsoft strategisch unterstützten Technologie weiterzuentwickeln.

Die Herausforderung

Die Migration umfasste nicht nur die Übertragung von Datenbeständen. Große Teile der bestehenden ETL- und Transformationslogik mussten auf neue Technologien übertragen werden.

Dazu gehörten unter anderem:

• die Migration zahlreicher Datenintegrationsprozesse,
• die Überführung umfangreicher SQL-basierter Transformationslogik,
• die Anpassung von Orchestrierungs- und Steuerungsprozessen,
• die Neuorganisation der Datenhaltung innerhalb der Fabric-Architektur.

Besonders anspruchsvoll war dabei die Umstellung von klassischen SQL-basierten Verfahren auf moderne Spark-basierte Verarbeitungskonzepte. Gleichzeitig befand sich Microsoft Fabric während des Projekts noch in einer Phase kontinuierlicher Weiterentwicklung, sodass technische Besonderheiten und neue Lösungsansätze berücksichtigt werden mussten.

Das Ergebnis

Nach Abschluss der Migration wurde die neue Microsoft-Fabric-Plattform erfolgreich produktiv gesetzt.

Für die Anwender verlief der Wechsel weitgehend transparent. Bestehende Power BI Berichte und Auswertungen konnten weiterhin genutzt werden, während die technische Grundlage vollständig modernisiert wurde.

Die neue Architektur bietet dem Kunden nun:

• eine zentrale Analytics-Plattform auf Basis von Microsoft Fabric,
• eine langfristig unterstützte technologische Basis,
• vereinfachte Betriebs- und Entwicklungsprozesse,
• eine bessere Ausgangslage für zukünftige Erweiterungen und Innovationen.

Nach dem Go-Live traten keine nennenswerten Störungen auf, die auf den Technologiewechsel zurückzuführen waren.

Unser Beitrag

Projekte dieser Art erfordern weit mehr als reines Technologie-Know-how. Entscheidend sind ein tiefes Verständnis bestehender Systeme, methodisches Vorgehen sowie die Fähigkeit, Risiken frühzeitig zu erkennen und zu beherrschen.

Mit unserer Erfahrung in den Bereichen Data Engineering, Softwaremodernisierung und langfristige Betreuung geschäftskritischer Systeme unterstützen wir Unternehmen dabei, bestehende Lösungen sicher weiterzuentwickeln und auf neue technologische Anforderungen vorzubereiten.

Herausforderung

• Zusammenführung aller Geschäftsprozesse in ein gemeinsames Zielsystem
• Identifikation und Schließung funktionaler Lücken zwischen den Prozesswelten beider Unternehmen
• Qualitätsgesicherte Migration des gesamten Datenbestands innerhalb eines Wochenendes
• Enge Absprache aller beteiligten Projektteams sowie Sicherstellung von Prüfbarkeit und Nachvollziehbarkeit der Migration

Vorgehen

Datenmigrationskonzept und Data Cleansing
Der Schwerpunkt unserer Leistung lag auf der Migration der Daten aus den abzulösenden Altsystemen. Hierfür wurde ein Datenabzug aus der bestehenden Systemlandschaft durchgeführt und die Daten wurden analysiert und für die Überführung vorbereitet.
Auf dieser Basis entwickelten wir ein belastbares Migrationskonzept mit definierten Formaten, Schnittstellen und Transformationsregeln, um die extrahierten Daten an die Zielsystemlandschaft zu übergeben.
Gleichzeitig wurden Duplikate, Inkonsistenzen und fehlerhafte Daten entfernt, wodurch eine hohe Datenqualität im Zielsystem sichergestellt werden konnte. Die Durchführung dieses Prozesses erfolgte in enger Abstimmung mit den Fachexperten, um fachliche Besonderheiten zu berücksichtigen und eine valide Überführung der Daten zu gewährleisten.

Performanceoptimierte Weekend-Migration
Die extrahierten und aufbereiteten Daten wurden innerhalb eines eng definierten Zeitfensters in die neue Systemlandschaft überführt. Gezielte Optimierungsmaßnahmen ermöglichten eine hohe Datenübertragungsrate, sodass die vollständige Migration innerhalb eines Wochenendes erfolgen konnte und es keine Auswirkungen auf das Tagesgeschäft gab.

Ergebnis

Die Datenmigration wurde wie geplant innerhalb des definierten Zeitfensters erfolgreich abgeschlossen. Sämtliche Datenbestände wurden bereinigt und konsistent in die neue Plattform transferiert, sodass der operative Betrieb im vereinten System unmittelbar nach dem Migrationswochenende nahtlos wieder aufgenommen werden konnte.

Durch die geschaffene Möglichkeit zum systematischen Abgleich zwischen Quell- und Zielsystem ist die Migration in Gänze nachvollziehbar und überprüfbar. Die konsolidierte IT-Landschaft bildet nun eine stabile Grundlage für die gemeinsame Weiterentwicklung der Systeme sowie für zukünftige digitale Vorhaben.

Anforderung

• Modernisierung der Benutzerverwaltung: Die bisherige Eigenlösung für das Identity und Access Management (IAM) sollte durch eine zukunftssichere Open-Source-Lösung ersetzt werden.
• Effizientere Administration: Administrative Prozesse sollten vereinfacht und das manuelle Handling reduziert werden.
• Flexible Erweiterbarkeit: Die Lösung sollte offen sein für zukünftige Anwendungen und Technologien.

Umsetzung

Einführung der Open-Source-Lösung Keycloak als Identity und Access Management (IAM).

• Automatisierter Import vorhandener LDAP-Accounts: Ein automatisch täglich ausgeführter Job synchronisiert Benutzeraccounts aus dem bestehenden LDAP-Verzeichnis in Keycloak. Somit müssen grundlegende Benutzerattribute nicht mehr manuell gepflegt werden und stehen unmittelbar tagesaktuell zur Verfügung.
• Komfortable Verwaltung der Benutzerrollen: Die erforderlichen Rollen zur Nutzung der einzelnen Anwendungen werden komfortabel und unkompliziert über die Keycloak-Oberfläche an autorisierte Mitarbeiter vergeben.
• Unkomplizierte Integration zusätzlicher Nutzergruppen: Externe Nutzer, die nicht im LDAP vorhanden sind, können bei Bedarf einfach in Keycloak verwaltet werden.
• Reibungslose Integration der bestehenden Webanwendungen: Die vorhandenen Webanwendungen konnten mit überschaubarem Aufwand angepasst und an Keycloak angebunden werden. Gegenüber der vorherigen Lösung konnte der Aufwand für Anpassungen und Erweiterungen reduziert werden.
• Grundlage für zukünftige Microservices-Architektur: Mit Keycloak wurde eine technische Grundlage geschaffen, um zukünftige Microservices standardmäßig mittels JSON Web Token (JWT) abzusichern.

Ergebnis

Durch die Einführung von Keycloak wurde die Administration des Identity und Access Managements in der individuellen Anwendungslandschaft erheblich vereinfacht. Die automatisierte Benutzersynchronisation reduziert den administrativen Aufwand.
Die neue Lösung legt zudem eine wichtige Grundlage für zukünftige technologische Entwicklungen und Erweiterungen innerhalb der Anwendungslandschaft des Unternehmens.

Anforderungen

Performancesteigerung: Die Verarbeitungsgeschwindigkeit und Effizienz bei der Datenübertragung in das zentrale System musste deutlich gesteigert werden.
Zukunftssicherheit: Eine langfristige Lösung wurde benötigt, die zukünftigen Anforderungen flexibel und individuell gerecht wird.
Migrationssicherheit: Eine reibungslose Ablösung ohne Betriebsunterbrechungen war zwingend erforderlich.

Umsetzung

Eine passgenaue Eigenentwicklung ersetzt das EDI-Standardtool.
Optimierte Java-Implementierung: Das neue EDI-Tool wurde individuell auf die komplexen Anforderungen der Datenverarbeitung aus diversen Transportsystemen zugeschnitten und in Java umgesetzt. Durch den Einsatz client-seitiger Connection-Pools konnte die Performance erheblich gesteigert werden.
Bewährte Migrationsstrategie: Durch den Parallelbetrieb der bisher eingesetzten EDI Lösung und der individuell entwickelten Lösung konnten während der Migrationsphase aussagekräftige Vergleiche gemacht werden, mit der die neue Lösung im Echtbetrieb getestet werden konnte.
Potenzial für individuelle Erweiterungen: Dank der Eigenentwicklung besteht nun eine flexible Basis, um auch spezifische zukünftige Anforderungen und neue Funktionen effizient und problemlos umzusetzen.

Ergebnis

Die Einführung hat die Erwartungen übertroffen. Die Daten eines gesamten Tages (600 bis 700 MB) können nun innerhalb weniger Minuten vollständig verarbeitet und bereitgestellt werden.
Durch den Einsatz der individuell entwickelten Lösung wurde nicht nur die unmittelbare Performance verbessert, sondern auch die langfristige Erweiterbarkeit und Wartbarkeit des Gesamtsystems erheblich erhöht.

Ziele der Modernisierung

• Leistungssteigerung: Der Durchsatz der Messaging-Komponente musste verbessert werden.
• Betriebsstabilität: Die Modernisierung durfte den laufenden Betrieb nicht stören.
• Erweiterte Nutzung: Zukünftige Empfängersysteme sollten einfacher an das System angebunden werden können.

Maßgeschneiderte Java-Adapter für verschiedene Anwendungsfälle:

• Nahtlose Integration: Speziell entwickelte Adapter binden ältere Systemkomponenten in die neue Architektur ein.
• Lose Koppelung: Neue Sender- und Empfängersysteme können flexibel angebunden werden, was das System zukunftssicher macht.

Stufenweise Umsetzung:

• Risikominimierung: Eine schrittweise Implementierung stellt einen reibungslosen Übergang sicher und bewahrt den kontinuierlichen Betrieb während der Modernisierungsphase.

Mit der Einführung von RabbitMQ ist jetzt viel Luft nach oben bei dem Datenaustausch. Zusätzlich eröffnet die lose gekoppelte Architektur quasi unendliche Ansätze für die Nutzung der Sendungsdaten, etwa für zusätzliche Auswertungen oder weitere Kundenanwendungen.

ZIELE DER MODERNISIERUNG

• Datenverfügbarkeit für alle: Jede Abteilung – von Geschäftsführung bis Außendienst – sollte auf relevante Informationen zugreifen können.
• Self-Service BI: Mitarbeitende sollten selbst Reports und Dashboards erstellen können.
• Sicherer Datenzugriff: Rollenbasiertes Rechtemanagement war zwingend erforderlich.
• Explorative Analyse ermöglichen: Das Data-Science-Team sollte auf umfangreiche, gut strukturierte Daten zugreifen können.
• Historisierung & Nachvollziehbarkeit: Alle Datenversionen mussten dokumentiert und abrufbar sein.
• DSGVO-Konformität: Datenschutz wurde von Anfang an mitgedacht.
• Zukunftsfähigkeit & Cloud-Bereitschaft: Die Architektur sollte später problemlos in die Cloud migrierbar sein – ein Schritt, der inzwischen vollzogen ist.

LÖSUNG

ETL mit Apache Airflow

• Orchestrierte Datenflüsse: Apache Airflow steuert die ETL-Prozesse per DAGs (directed acyclic graphs). Einzelne Tasks wie Extraktion, Transformation und Laden (ETL) werden klar strukturiert abgebildet.
• Visualisierung & Kontrolle: Über die Weboberfläche lassen sich Status und Ablauf aller Prozesse überwachen – farblich codiert und nachvollziehbar.

Self-Service Business Intelligence mit Power BI

• Individuelle Auswertungen: Mitarbeitende erstellen eigenständig Dashboards & Reports basierend auf vordefinierten Datenmodellen.
• Flexibel & mobil: Die Reports sind geräteunabhängig verfügbar und lassen sich bei Bedarf aktualisieren.
• Rechtemodell inklusive: Power BI stellt sicher, dass jede:r nur auf relevante Daten zugreift.

Historienprotokoll (Change Data Capture)

• Lückenlose Nachvollziehbarkeit: Datenänderungen, z. B. bei stornierten Anträgen, werden automatisch erkannt und historisiert.
• Zeitlich rückverfolgbar: Alle Versionen eines Datensatzes werden samt Gültigkeitszeitraum im DWH gespeichert – perfekt für Revision und Analyse.

DSGVO-Konformität

• Datensicherheit garantiert: Personenbezogene Informationen werden pseudonymisiert oder entfernt – gesetzeskonform und transparent.

„Ready for Data Science“

• Zentrale Datenbasis: Data Scientists haben Zugriff auf strukturierte Daten zur explorativen Analyse und Modellierung.
• Power BI & Python: Von Visualisierungen bis ML-Vorbereitung – die eingesetzten Tools sind zukunftssicher und weit verbreitet.
• Airflow + Python: Die Nutzung der etablierten Programmiersprache erleichtert Anpassungen und Erweiterungen.

Migration in die Cloud

• Docker-basiert: Die initiale On-Premise-Architektur ermöglichte eine problemlose Migration in die Google Cloud.
• 1:1-Übernahme: Daten, Schemata, Views und Airflow-Jobs wurden direkt übernommen.
• Ausblick: Der Wechsel von PostgreSQL zu BigQuery ist der nächste Schritt in Richtung leistungsfähiger Cloud-Analyse.

ERGEBNIS

Yareto verfügt heute über ein modernes, cloudbasiertes Data Warehouse als zentrales Nervensystem für datengetriebenes Arbeiten. Alle Mitarbeitenden – von Vertrieb bis Geschäftsführung – nutzen verlässliche Daten für tägliche Entscheidungen. Strategische Planung, Provisionsabrechnung, Unternehmensbewertung und Produktentwicklung profitieren gleichermaßen. Die Lösung ist wartungsarm, skalierbar und bietet Raum für zukünftige Innovationen – ein Meilenstein auf dem Weg zur echten Data Driven Company.