Cookie Einstellungen

Durch Klicken auf "Zustimmen" stimmen Sie der Speicherung von Cookies auf Ihrem Gerät zu, um die Website-Navigation zu verbessern, die Website-Nutzung zu analysieren und unsere Marketingbemühungen zu unterstützen. Weitere Informationen finden Sie in unseren Datenschutzbestimmungen.

Ablehnen
Zustimmen
Glossar
Data Infrastructure

Lakehouse

Data Lakehouse ist eine moderne Datenarchitektur, die die Vorteile von Data Lakes und Data Warehouses vereint.

Bedeutung im DetailKontaktiere uns

Lakehouse Herkunft

  • Der Begriff wurde 2020 von Databricks, den Mitbegründern von Apache Spark, geprägt.
  • Ziel war es, die Einschränkungen von Data Lakes und Data Warehouses zu überwinden und eine einheitliche Plattform zu schaffen, die verschiedene Datentypen und Workloads unterstützt.
  • Data Lakehouses adressieren die Schwächen von Data Lakes (fehlende Governance) und Data Warehouses (hohe Kosten, Inflexibilität) und gelten als Zukunftslösung für die zentrale Datenhaltung und -analyse.

Kernkonzept Lakehouse

Vorteile Lakehouse

  • Kosteneffizienz: Durch die Nutzung kostengünstiger Cloud-Objektspeicher sind Data Lakehouses günstiger im Betrieb als Data Warehouse.
  • Streaming: Es werden Echtzeit-Datenströme unterstützt und ermöglichen Echtzeit-Analysen.
  • Offene Dateiformate: Die meisten Data-Lakehouse-Strukturen basieren auf Open-Source-Formaten wie Delta Lake, Apache Iceberg und Apache Hudi.
  • Geringere Datenredundanz: Durch die einheitliche Datenspeicherung werden Datenbewegungen zwischen verschiedenen Systemen minimiert.
  • Schema-Enforcement und Data Governance: Data Lakehouses adressieren typische Data-Governance-Herausforderungen von Data Lakes, indem sie definierte Schemata bei der Datenerfassung erzwingen.
  • Getrennte Speicher und Verarbeitung: Die Architektur entkoppelt Speicher und Verarbeitung, um Skalierbarkeit für verschiedene Workloads zu gewährleisten.
  • Transaktionsunterstützung: ACID-Transaktionen (Atomicity, Consistency, Isolation, Durability) sorgen für Konsistenz bei gleichzeitigem Lesen oder Schreiben von Daten durch mehrere Nutzer (häufig auf SQL-Basis).

Architektur Lakehouse

  • Speicher-Layer: Hier werden alle Rohdaten kostengünstig in einem Object Storage abgelegt (unabhängig von Verarbeitungsressourcen).
  • Staging-Layer: Dieser fungiert als Metadaten-Hub und katalogisiert die gespeicherten Datenobjekte. Er ermöglicht wesentliche Datenverwaltungsfunktionen wie Schema-Enforcement, ACID-Eigenschaften, Indizierung, Caching und Zugriffskontrolle.
  • Semantik-Layer: An der Spitze der Architektur befindet sich der Lakehouse-Layer. Hier werden die Daten für Benutzerinteraktionen durch Client-Anwendungen und Analyse-Tools zugänglich gemacht (Experimente und Business Intelligence).

Anbieter Lakehouse

Snowflake Apache Iceberg - https://www.snowflake.com/en/data-cloud/snowflake-for-data-lakehouse/

Google Biglake - https://cloud.google.com/biglake?hl=en Weitere Information https://research.google/pubs/biglake-bigquerys-evolution-toward-a-multi-cloud-lakehouse/

‍

Abstrakte Form eines Pfades

Lass uns die richtige Lösung gemeinsam finden.

Thomas Borlik

Jetzt kontaktieren
Abstrakte Form eines Pfades

Du hast Fragen zu
Lakehouse
?

Jetzt Termin vereinbarenKontaktAuf LinkedIn folgen

Passende Case Studies

Zu diesem Thema gibt es passende Case Studies

Alle Case Studies entdecken
No items found.

Welche Leistungen passen zu
Lakehouse
?

<svg width=" 100%" height=" 100%" viewBox="0 0 62 62" fill="none" xmlns="http://www.w3.org/2000/svg"> <g clip-path="url(#clip0_5879_3245)"> <path d="M54.25 3.875H31C29.9726 3.87603 28.9876 4.28461 28.2611 5.01109C27.5346 5.73758 27.126 6.7226 27.125 7.75V27.125H7.75C6.7226 27.126 5.73758 27.5346 5.01109 28.2611C4.28461 28.9876 3.87603 29.9726 3.875 31V58.125H58.125V7.75C58.124 6.7226 57.7154 5.73758 56.9889 5.01109C56.2624 4.28461 55.2774 3.87603 54.25 3.875ZM17.4375 54.25V40.6875H25.1875V54.25H17.4375ZM54.25 54.25H29.0625V38.75C29.0625 38.2361 28.8584 37.7433 28.495 37.38C28.1317 37.0166 27.6389 36.8125 27.125 36.8125H15.5C14.9861 36.8125 14.4933 37.0166 14.13 37.38C13.7666 37.7433 13.5625 38.2361 13.5625 38.75V54.25H7.75V31H31V7.75H54.25V54.25Z" fill="currentColor"/> <path d="M34.875 15.5H38.75V19.375H34.875V15.5ZM46.5 15.5H50.375V19.375H46.5V15.5ZM34.875 27.125H38.75V31H34.875V27.125ZM46.5 27.125H50.375V31H46.5V27.125ZM34.875 38.75H38.75V42.625H34.875V38.75ZM46.5 38.75H50.375V42.625H46.5V38.75Z" fill="currentColor"/> </g> <defs> <clipPath id="clip0_5879_3245"> <rect width="62" height="62" fill="currentColor"/> </clipPath> </defs> </svg>

Data Architektur

Die richtigen Tools am richtigen Ort

<svg width=" 100%" height=" 100%" viewBox="0 0 62 62" fill="none" xmlns="http://www.w3.org/2000/svg"> <g clip-path="url(#clip0_5879_2705)"> <path d="M7.75 50.375H15.5V58.125H7.75V50.375ZM27.125 50.375H34.875V58.125H27.125V50.375ZM46.5 50.375H54.25V58.125H46.5V50.375ZM48.4375 31H32.9375V27.125H29.0625V31H13.5625C12.5351 31.001 11.5501 31.4096 10.8236 32.1361C10.0971 32.8626 9.68853 33.8476 9.6875 34.875V46.5H13.5625V34.875H29.0625V46.5H32.9375V34.875H48.4375V46.5H52.3125V34.875C52.3115 33.8476 51.9029 32.8626 51.1764 32.1361C50.4499 31.4096 49.4649 31.001 48.4375 31ZM17.4375 3.875V23.25H44.5625V3.875H17.4375ZM21.3125 7.75H25.1875V19.375H21.3125V7.75ZM40.6875 19.375H29.0625V7.75H40.6875V19.375Z" fill="currentColor"/> </g> <defs> <clipPath id="clip0_5879_2705"> <rect width="62" height="62" fill="currentColor"/> </clipPath> </defs> </svg>

Data Organisation

Damit die Daten Struktur bekommen und alle ihre Verantwortlichkeiten kennen.

<svg width=" 100%" height=" 100%" viewBox="0 0 62 62" fill="none" xmlns="http://www.w3.org/2000/svg"> <g clip-path="url(#clip0_5879_2165)"> <path d="M21.3122 46.5H40.6872V50.375H21.3122V46.5ZM25.1872 54.25H36.8122V58.125H25.1872V54.25ZM30.9997 3.875C25.8611 3.875 20.933 5.91629 17.2995 9.54981C13.666 13.1833 11.6247 18.1114 11.6247 23.25C11.4937 26.0658 12.0331 28.8726 13.1985 31.4392C14.364 34.0059 16.1222 36.2592 18.3285 38.0138C20.266 39.8156 21.3122 40.8425 21.3122 42.625H25.1872C25.1872 39.06 23.0366 37.0644 20.9441 35.1462C19.1332 33.7595 17.69 31.9499 16.7408 29.8759C15.7917 27.802 15.3655 25.5269 15.4997 23.25C15.4997 19.1391 17.1327 15.1967 20.0396 12.2898C22.9464 9.38303 26.8889 7.75 30.9997 7.75C35.1106 7.75 39.0531 9.38303 41.9599 12.2898C44.8667 15.1967 46.4997 19.1391 46.4997 23.25C46.6317 25.5286 46.2025 27.8047 45.2499 29.8788C44.2973 31.9529 42.8504 33.7616 41.036 35.1462C38.9628 37.0837 36.8122 39.0213 36.8122 42.625H40.6872C40.6872 40.8425 41.7141 39.8156 43.671 37.9944C45.8757 36.2428 47.6331 33.9929 48.7986 31.4295C49.964 28.8662 50.5042 26.0628 50.3747 23.25C50.3747 20.7056 49.8736 18.1862 48.8999 15.8355C47.9262 13.4848 46.499 11.3489 44.6999 9.54981C42.9008 7.75067 40.7649 6.32352 38.4142 5.34983C36.0635 4.37615 33.5441 3.875 30.9997 3.875Z" fill="currentColor"/> </g> <defs> <clipPath id="clip0_5879_2165"> <rect width="62" height="62" fill="currentColor"/> </clipPath> </defs> </svg>

Data Strategy

Wann passiert was wie und warum – das erklärt die Datenstrategie.

Folge uns auf LinkedIn

Bleibe auf LinkedIn immer auf dem neuesten Stand zur spannenden Welt der Daten und zu unserem Team.

Auf LinkedIn folgen
Abstrakter Pfad des Data Institutes