Modern Data Stack zur Hebung des Datenpotenzial
Situation
- In einem Vorprojekt wurden unter anderem die Herausforderungen in Bezug auf die existierende Datenlandschaft identifiziert und eine neue Architektur vorgeschlagen
- Zudem wurden Use Cases zur Aktivierung des Potenzials einer neuen Dateninfrastruktur priorisiert
- Die internen Kollegen verfügten zudem noch nicht über die nötigen Kenntnisse im Umgang mit dieser Art von Infrastruktur
Herausforderung
- Die existierende Dateninfrastruktur wurde den Anforderungen hinsichtlich Schnelligkeit, Skalierbarkeit und Zugänglichkeit nicht mehr gerecht
- Für eine eigenständige Modernisierung des Setups standen nicht genügend eigene Kapazitäten zur Verfügung
- Rechtliche Detailfragen zur Verknüpfung von personenbezogenen Daten waren noch nicht vollständig geklärt
Lösung
- Einführung eines Modern Data Stacks auf Basis von Snowflake (Data Warehouse), adverity (ELT) und dbt (Datenmodellierung)
- Umsetzung zweier initialer Use Cases zur Analyse des Kundenverhaltens im Online-Shop und der Auswertung der Produktperformance
Mehrwert
- Einfacherer und zentraler Zugriff auf Daten diverser Datenquellen
- Erlangen neuer Erkenntnisse durch Verknüpfung mehrerer Datenquellen
- Darstellung der neuen Erkenntnisse in Dashboards
Ein Blick in die Daten-Zukunft von babymarkt
In unserem Vorprojekt (siehe https://www.datainstitute.io/case-studies/babymarkt) haben wir zunächst die Herausforderungen der bestehenden Datenarchitektur (u.a.) von babymarkt untersucht. Das Ergebnis zeigte, dass die derzeitige Dateninfrastruktur nicht das volle Potenzial von babymarkts Datenschätzen heben konnte. Dabei war allen Beteiligten klar, dass Daten eine besonders wichtige Rolle spielen würden beim Erhalt und Ausbau der Marktposition von babymarkt als Nr. 1 in Europa für Baby- und Kinderartikel. Insbesondere bei den steigenden Anforderungen im Zusammenhang mit weiterführenden und detaillierteren Analysen der Kunden und Produkte stieß die existierende Infrastruktur an ihre Grenzen. Vor diesem Hintergrund erarbeiteten wir einen Vorschlag für eine neue Architektur, die sich stark am modularen und best-of-breed Ansatz des Modern Data Stacks orientiert und die Grundlage für eine nachhaltige Optimierung der Dateninfrastruktur bildet.
Schlussendlich fiel die Entscheidung zugunsten der Umsetzung einer Variante unseres empfohlenen Setups (siehe Grafik), die zum einen die technologischen Unzulänglichkeiten des alten Setups auflöst und zum anderen die hohe Akzeptanz des bereits existenten Visualisierungstools ausschöpft. Dies sollte durch die Implementierung strategisch relevanter Use Cases ergänzt werden, um das Potenzial der neuen Dateninfrastruktur vollständig zu aktivieren. Dabei legte babymarkt großen Wert darauf, die eigene Expertise durch ein enges Sparring zwischen uns und den internen Kollegen stetig zu erweitern. Diese Zusammenarbeit ermöglichte nicht nur eine nachhaltige Wissensvermittlung, sondern unterstützte auch die erfolgreiche Integration der neuen Architektur in die bestehenden Strukturen.
Das Herzstück dieser neuen technischen Lösung bildet ein Snowflake Data Warehouse in der AWS-Cloud, das durch adverity zur Datenintegration und dbt für die Datenmodellierung ergänzt wird. Selbstverständlich haben wir auch hier eine Layerarchitektur (vergleichbar mit “Bronze-Silver-Gold”) sowie eine getrennte Produktions- und Entwicklungsumgebung implementiert. Als Scheduling Tool haben wir uns aufgrund der einfachen Bedienbarkeit und den noch recht einfachen Abhängigkeiten innerhalb des Systems letztlich für GitHub Actions entschieden. Auf diese Weise müssen sich die Kollegen von babymarkt nicht zusätzlich in ein weiteres komplexes Tool einarbeiten und können sich stattdessen voll auf die Datenmodellierung via dbt konzentrieren.
Zur Aktivierung des neuen Systems wurden zwei initiale Use Cases umgesetzt: die Analyse des Kundenverhaltens im Online-Shop sowie die Auswertung der Produktperformance. Beide Use Cases dienen gezielt der Erweiterung der Analysefähigkeiten und der Erreichung der eigenen Unternehmensziele. Der Modern Data Stack ermöglicht zudem einen zentralen und vereinfachten Zugriff auf Daten aus diversen Quellen. Zudem können durch die best-practice Modellierung dieser Daten neue Erkenntnisse gewonnen und Daten vereinfacht in Microstrategy visualisiert werden. Diese Maßnahmen fördern nicht nur datenbasierte Entscheidungen, sondern schaffen auch die Basis für eine langfristige Optimierung von Geschäftsprozessen und Strategien.
Die Umsetzung des Projekts brachte jedoch auch spezifische Herausforderungen mit sich. Eine der zentralen Schwierigkeiten lag in den begrenzten internen Kapazitäten, die für den Aufbau und die Aktivierung der neuen Datenarchitektur zur Verfügung standen. Zudem mussten rechtliche Rahmenbedingungen, insbesondere im Hinblick auf die Verknüpfung und Nutzung von Tracking-Daten, berücksichtigt werden. Durch die enge Zusammenarbeit und Abstimmung mit den Kollegen von babymarkt konnten wir diese Hürden jedoch gemeinsam überwinden und das Projekt erfolgreich umsetzen. babymarkt verfügt nun über eine skalierbare moderne Dateninfrastruktur - die nächsten Use Cases sind bereits in der Planung.
Verantwortlich für das Projekt
Für dieses Projekt sind Roxane Stelzel und Mike Kamysz die richtigen Ansprechpartner.
Der Referenzkontakt kann auf Wunsch vermittelt werden.
Bleibe auf dem neuesten Stand.
Folge uns auf LinkedIn.
Data News für Pros
Du willst mehr wissen? Dann abonnier doch unseren Newsletter! Regelmäßige News aus der Data-Welt rund um neue Entwicklungen, Tools, Best Practices und Events!
Bleibe auf dem neuesten Stand.
Folge uns auf LinkedIn.