Mit Airflow und Power BI zur Data Driven Company
Wie Yareto datengetriebenes Arbeiten für alle Mitarbeitenden ermöglicht
Yareto, das erste B2B-Vergleichsportal für KFZ-Finanzierungen, unterstützte bisher primär den Handel bei der Auswahl günstiger Finanzierungsangebote. Mit dem Ziel, datenbasierte Entscheidungen im gesamten Unternehmen zu fördern, wurde ein cloudbasiertes Data Warehouse (DWH) geschaffen – als zentrale Sammelstelle für unternehmensweite Daten und Grundlage für strategische und operative Entscheidungen.
Wie Yareto datengetriebenes Arbeiten für alle Mitarbeitenden ermöglicht
Yareto, das erste B2B-Vergleichsportal für KFZ-Finanzierungen, unterstützte bisher primär den Handel bei der Auswahl günstiger Finanzierungsangebote. Mit dem Ziel, datenbasierte Entscheidungen im gesamten Unternehmen zu fördern, wurde ein cloudbasiertes Data Warehouse (DWH) geschaffen – als zentrale Sammelstelle für unternehmensweite Daten und Grundlage für strategische und operative Entscheidungen.
ZIELE DER MODERNISIERUNG
- Datenverfügbarkeit für alle: Jede Abteilung – von Geschäftsführung bis Außendienst – sollte auf relevante Informationen zugreifen können.
- Self-Service BI: Mitarbeitende sollten selbst Reports und Dashboards erstellen können.
- Sicherer Datenzugriff: Rollenbasiertes Rechtemanagement war zwingend erforderlich.
- Explorative Analyse ermöglichen: Das Data-Science-Team sollte auf umfangreiche, gut strukturierte Daten zugreifen können.
- Historisierung & Nachvollziehbarkeit: Alle Datenversionen mussten dokumentiert und abrufbar sein.
- DSGVO-Konformität: Datenschutz wurde von Anfang an mitgedacht.
- Zukunftsfähigkeit & Cloud-Bereitschaft: Die Architektur sollte später problemlos in die Cloud migrierbar sein – ein Schritt, der inzwischen vollzogen ist.
LÖSUNG
ETL mit Apache Airflow
- Orchestrierte Datenflüsse: Apache Airflow steuert die ETL-Prozesse per DAGs (directed acyclic graphs). Einzelne Tasks wie Extraktion, Transformation und Laden (ETL) werden klar strukturiert abgebildet.
- Visualisierung & Kontrolle: Über die Weboberfläche lassen sich Status und Ablauf aller Prozesse überwachen – farblich codiert und nachvollziehbar.
Self-Service Business Intelligence mit Power BI
- Individuelle Auswertungen: Mitarbeitende erstellen eigenständig Dashboards & Reports basierend auf vordefinierten Datenmodellen.
- Flexibel & mobil: Die Reports sind geräteunabhängig verfügbar und lassen sich bei Bedarf aktualisieren.
- Rechtemodell inklusive: Power BI stellt sicher, dass jede:r nur auf relevante Daten zugreift.
Historienprotokoll (Change Data Capture)
- Lückenlose Nachvollziehbarkeit: Datenänderungen, z. B. bei stornierten Anträgen, werden automatisch erkannt und historisiert.
- Zeitlich rückverfolgbar: Alle Versionen eines Datensatzes werden samt Gültigkeitszeitraum im DWH gespeichert – perfekt für Revision und Analyse.
DSGVO-Konformität
- Datensicherheit garantiert: Personenbezogene Informationen werden pseudonymisiert oder entfernt – gesetzeskonform und transparent.
„Ready for Data Science“
- Zentrale Datenbasis: Data Scientists haben Zugriff auf strukturierte Daten zur explorativen Analyse und Modellierung.
- Power BI & Python: Von Visualisierungen bis ML-Vorbereitung – die eingesetzten Tools sind zukunftssicher und weit verbreitet.
- Airflow + Python: Die Nutzung der etablierten Programmiersprache erleichtert Anpassungen und Erweiterungen.
Migration in die Cloud
- Docker-basiert: Die initiale On-Premise-Architektur ermöglichte eine problemlose Migration in die Google Cloud.
- 1:1-Übernahme: Daten, Schemata, Views und Airflow-Jobs wurden direkt übernommen.
- Ausblick: Der Wechsel von PostgreSQL zu BigQuery ist der nächste Schritt in Richtung leistungsfähiger Cloud-Analyse.
ERGEBNIS
Yareto verfügt heute über ein modernes, cloudbasiertes Data Warehouse als zentrales Nervensystem für datengetriebenes Arbeiten. Alle Mitarbeitenden – von Vertrieb bis Geschäftsführung – nutzen verlässliche Daten für tägliche Entscheidungen. Strategische Planung, Provisionsabrechnung, Unternehmensbewertung und Produktentwicklung profitieren gleichermaßen. Die Lösung ist wartungsarm, skalierbar und bietet Raum für zukünftige Innovationen – ein Meilenstein auf dem Weg zur echten Data Driven Company.