Zu oft gefragt #2: Warum dbt, wenn wir DAX haben?

Warum brauchen wir dbt, wenn wir DAX haben?

Als Berater arbeiten wir Tag für Tag mit vielen Kunden zusammen. Viele Kunden bedeuten viele Fragen, die wir beantworten müssen, und da dies schnell ermüdend werden kann, haben wir begonnen, unsere Antworten in einer Blogreihe zu sammeln. Im letzten Beitrag haben wir mit der Beantwortung der Frage begonnen, warum man nicht einfach Rohdaten abfragen sollte. Diesmal werden Bo Lemmers, Analytics Engineer bei Xebia, und Mike Kamysz, Data Engineer bei The Data Institute, Licht in den altbekannten Kampf der Tools und Philosophien bringen: "Warum brauchen wir dbt, wenn wir DAX haben?"

Auf dem Papier scheint diese Frage unschuldig. Sogar logisch. Wenn dein BI-Tool dir Transformationen mit etwas wie DAX (oder LookML oder wie auch immer ein Tool seine Transformationsfähigkeiten nennt) ermöglicht, warum solltest du dann ein völlig separates Tool wie dbt für Datentransformationen benötigen? Aber lass es uns gleich hier gesagt haben: Das hier ist nicht nur eine Werkzeugdebatte. Es geht um Strategie, Skalierbarkeit und darum, die Dinge gleich beim ersten Mal richtig zu machen.

Weshalb Analysten zu DAX strömen

Beginnen wir mit dem Warum. Als jemand mit einer brennenden Datenfrage könntest du dich leicht vom Singsang der Vertriebler verlocken lassen, die dir versprechen, dass diese Generation von BI-Tools sicherlich alle deine Bedürfnisse abdecken kann. Sei es PowerBI mit DAX, Looker mit LookML, Tableau oder etwas anderes - zumindest ist es nicht Excel, richtig?! Schauen wir uns also die Faktoren an, die diese Tools so attraktiv machen können.

1. Schnelle Ergebnisse

Transformationen in einem BI-Tool fühlen sich schnell an. Möchtest du diese Spalte summieren, ein Verhältnis berechnen, ein Zeitreihenmodell erstellen? Klicke dir eine DAX-Formel zusammen, und schon hast du in wenigen Minuten ein Diagramm fertig. Kein Ticket erforderlich. Erst recht keine langwierigen Überprüfungsprozesse. Einfach nur schlichte, einfache und schnelle Analyse.

2. Alles aus einer Hand

Dein Unternehmen hat höchstwahrscheinlich schon irgendein BI-Tool lizenziert. Du verwendest es bereits, um Dashboards zu erstellen, warum also nicht Datentransformationen im selben Tool durchführen? Alles bleibt in sich geschlossen, und es sind keine komplexen Pipelines erforderlich, um Daten von A nach B zu verschieben.

3. Niedrige Einstiegshürde

Die meisten BI-Tools verfügen über benutzerfreundliche Oberflächen und integrierte Funktionen zum Schreiben von Formeln. Für Menschen, die von SQL, Git oder Kommandozeilen eingeschüchtert sind, werden viele der Hürden für den Einstieg in Daten beseitigt, und es ist großartig für Analysten, die schnelle Einblicke wünschen.

4. Eine Vielfalt von Optionen

Tableau, PowerBI und Looker bieten direkte Verbindungen zum Synchronisieren von Daten aus deinen operativen Tools (wie Google Analytics, Salesforce usw.). Das suggeriert, dass sie geradezu dafür geschaffen worden sind, um all deine Bedürfnisse an Datenbereinigung, Transformation und Blending abzudecken.

BI-Tools sind der feuchte Traum von schnellen und einfachen Workflows. Aber wie die meisten Shortcuts haben auch sie ihre Grenzen. Und wenn man auf diese Grenzen stößt, dann ist der Aufprall häufig hart.

Das Problem darin, alles in einem BI-Tool zu tun

Kommen wir gleich zur Sache: Sich ausschließlich auf DAX (oder eine andere BI-spezifische Transformationssprache) zu verlassen, um deine Datentransformationen zu bewältigen, ist wie ein Haus auf einem Sumpf zu bauen (Liebe Grüße an die Nachbarn aus den Niederlanden). Selbst, wenn es zunächst standhalten mag: Steigt die Komplexität, steigen auch die Sorgenfalten. Und zwar exponentiell. In etwa so, als würde man eine neue U-Bahn Linie unter dem historischen Stadtkern von Amsterdam graben wollen. Hier sind die Gründe dafür:

1. Duplizierte Logik: Copy-Paste-Chaos

BI-Tools sind nicht dafür gebaut, komplexe, zentral genutzte Logik über mehrere Berichte oder Dashboards hinweg zu verwalten. Hier ist, was tendenziell passiert: Du erstellst eine DAX-Berechnung für "Monthly Active Users", aber später erstellt jemand anderes ein anderes Dashboard und erstellt dieselbe Logik von Grund auf neu. Dann kommt ein drittes Team daher, und passt die Logik leicht an (ohne dich zu informieren). Das Resultat ist "Metrik-Drift". Jede Version derselben Metrik unterscheidet sich gerade genug von anderen, um Verwirrung und Fehler zu verursachen. Plötzlich widersprechen sich Berichte, und das Vertrauen in deine Daten sinkt. Dies geschieht, weil DAX-Berechnungen nicht automatisch über Berichte hinweg wiederverwendbar sind. Während Wiederverwendung möglich ist, wird sie nicht erzwungen, was zu doppelter Logik und Inkonsistenzen führt.

Mit einer Transformationsschicht wie dbt ist die Logik des Datenmodells zentralisiert, was konsistente und standardisierte Definitionen in der gesamten Organisation gewährleistet. Dies bedeutet, dass jeder mit denselben Definitionen arbeitet, wodurch Diskrepanzen reduziert und eine Vereinheitlichung der Analyse sichergestellt wird.

2. Performance Bottlenecks

BI-Tools sind für die Visualisierung von Daten optimiert, nicht für deren Transformation. Wenn du ressourcenintensive Transformationen, komplexe Joins oder umfangreiche Berechnungen in dein BI-Tool steckst, kann es hässlich werden:

• Langsame Abfragen: Sich ausschließlich auf dein BI-Tool zu verlassen, um Rohdaten zu ziehen und Transformationen durchzuführen, kann besonders bei großen Datensätzen schmerzlich langsam sein. Wir haben in unserem vorherigen Beitrag bereits behandelt, warum das Abfragen von Rohdaten eine schlechte Idee ist.
• Überlastung der Ressourcen: Die Transformation von Daten in der BI-Schicht verlagert die Rechenbelastung auf das BI-Tool, das nicht dafür gebaut ist. Dashboards werden langsam, und Benutzer werden frustriert. Datensätze können sehr schnell zu groß werden, um in den Cache des Tools geladen zu werden. Im Gegensatz dazu behält eine Transformationsschicht die Daten im Data Warehouse, wo Rechenleistung reichlich vorhanden und für die Transformation von Daten optimiert ist. Das Ergebnis? BI-Tools können sich auf das konzentrieren, was sie am besten können: Daten visualisieren.

3. Datenherkunft: Was geht hier ab?

Hast du jemals ein BI-Dashboard geöffnet und dich gefragt: "Woher kommt diese Zahl?" Willkommen im Land ohne Sichtbarkeit. In BI-Tools sind Transformationen oft in Formeln, berechneten Feldern oder Schichten von Diagrammen versteckt. Dies macht es nahezu unmöglich, den Ursprung deiner Metriken zu verfolgen oder Probleme zu debuggen. Wenn etwas kaputt geht—viel Glück beim Herausfinden, wo oder warum! Mit einer Transformationsschicht wie dbt wird jede Transformation in SQL geschrieben und versionskontrolliert, was die Datenherkunft sehr klar macht. Du kannst jede Spalte bis zu den Rohdaten zurückverfolgen, was Transparenz und Verantwortlichkeit gewährleistet.

4. Skalierbarkeit: Viel Glück beim Wachsen

BI-Tool-Transformationen funktionieren gut, wenn nur du oder ein kleines Team eine Hand voll Dashboards erstellen. Aber wenn deine Organisation wächst, wächst auch die Komplexität: Mehrere Teams möchten dieselben Metriken verwenden. Datenvolumen wachsen, und die Leistung des BI-Tools leidet. Governance ist erforderlich, um einen transparenten und gut dokumentierten Prozess für die Transformation von Daten zu gewährleisten. Plötzlich skaliert das, was für eine Person in DAX funktionierte, nicht über eine ganze Organisation. dbt löst dies, indem es Transformationen zentralisiert und automatisiert, was Konsistenz und Skalierbarkeit gewährleistet, unabhängig davon, wie groß Datenmengen oder Teams werden.

Weshalb eine Transformationsschicht das fehlende Puzzlestück ist

Nachdem wir nun besprochen haben, warum die direkte Transformation von Daten in deinem BI-Tool ein Spiel mit dem Feuer ist, sprechen wir darüber, warum eine Transformationsschicht, zum Beispiel dbt, der Held ist, den du zusätzlich zu deinem BI-Tool benötigst:

1. Zentralisierte Logiken für Konsistenz

Deine gesamte Transformationslogik befindet sich an einem Ort: dem Data Warehouse. Dies stellt sicher, dass jeder mit denselben Daten arbeitet: Keine duplizierte Logik oder Metrikabweichungen mehr. Jeder Bericht bezieht Daten aus derselben, vertrauenswürdigen Quelle. Außerdem wird Gebrauch von der Rechenleistung des Dtata Warehouses gemacht. Daher gilt:

• Schnellere Dashboards: BI-Tools arbeiten mit voraggregierten, optimierten Datensätzen, sodass Dashboards in Sekunden, nicht in Minuten geladen werden.
• Kosteneffizienz: Warehouses wie Snowflake und BigQuery sind für komplexe Aufgaben konzipiert, sodass Transformationen schneller und günstiger sind als im BI-Tool.

2. Qualitätskontrolle zum richtigen Zeitpunkt

dbt erlaubt es, Tests für fehlende Werte, Duplikate, Änderungen des Schemas, oder Anomalien einzurichten. In dem Fehler früh—in der Transformationsschicht—gefunden werden, wird die Datenintegrität sichergestellt, bevor Daten das BI-Tool erreichen. Wenn eine Schlüsselmetrik plötzlich falsch ist, oder eine Datenquelle ausfällt, wird proaktiv auf das Problem aufmerksam gemacht. Fehlerhafte Insights werden so vermieden, bevor Dashboard-Nutzer davon überhaupt etwas mitbekommen.

3. Versionskontrolle und Dokumentation

Jedes dbt-Modell wird versionskontrolliert und dokumentiert, was dir folgende Vorteile bietet:

• Rückverfolgbarkeit: Du weißt genau, wie jede Metrik berechnet wird und woher sie kommt. Das macht es auch einfach, Compliance-Anforderungen zu erfüllen.
• Teamarbeit: Mehrere Personen können zu denselben Transformationen beitragen, ohne sich gegenseitig zu behindern.

Aber was ist mit DAX?

Versteh uns nicht falsch: DAX (und andere BI-Tool-Transformationssprachen) haben ihren Platz. Sie sind großartig für schnelle, kleinere Berechnungen, Formatierungsanpassungen oder Ad-hoc-Metriken, die spezifisch für einen einzelnen Bericht sind. Hier findest du einen klaren Überblick darüber, was in DAX und was in dbt gehört:

‍

Unter dem Strich

Warum brauchst du also dbt, wenn du DAX hast? Weil sich ausschließlich auf dein BI-Tool für Transformationen zu verlassen, ein Rezept für Chaos ist. dbt bietet die Grundlage, die deine Daten benötigen, um sauber, konsistent und skalierbar zu sein. Obwohl DAX die Kirsche auf der Torte für die Feinabstimmung und Anpassung von Dashboards mit dynamischen Berechnungen ist, sollte eine Transformationsschicht im Data Warehouse immer als Basis für diese Berechnungen dienen.

Dein BI-Tool ist wunderbar für die Visualisierung von Daten. dbt stellt sicher, dass die visualisierten Daten genau, zuverlässig und bereit sind, mit deiner Organisation zu skalieren.

Steht euer Unternehmen gerade vor der Herausforderung Best Practices im Bereich Datenmodellierung zu implementieren? Wir sind hier um zu helfen. Kontaktiere uns und wir melden uns schon bald bei dir.

Photo by Stephen Dawson on Unsplash