AnkündigungWir stellen MongoDB 8.0 vor, das schnellste MongoDB aller Zeiten! Mehr erfahren > >>
AnkündigungVoyage AI und MongoDB unterstützen ab sofort gemeinsam genauere und vertrauenswürdigere KI-Anwendungen auf Atlas. Mehr erfahren > >>

Was ist ein Data-Warehouse? Ein umfassender Leitfaden

Kostenlos testen!

Unternehmen generieren Daten aus vielen verschiedenen Systemen – operative Systeme wie Anwendungsdatenbanken, operative Tools, SaaS-Plattformen, Logs und externe Datenquellen liefern alle wertvolle Informationen. Mit der Zeit wird die Analyse dieser Daten direkt aus operativen Systemen schwierig, langsam und unzuverlässig. Ein Data Warehouse dient als zentrales Repository, führt Daten aus mehreren Quellen zusammen und beseitigt so Datensilos.

Ein Data Warehouse löst dieses Problem, indem es Daten aus mehreren Quellen zentralisiert, verwaltet und für die Analyse aufbereitet. Das Data Warehouse bündelt Informationen, um eine einzige zuverlässige Informationsquelle zu schaffen, und unterstützt konsistente Datenmanagementpraktiken. Es ist für eine effiziente Datenspeicherung und -verwaltung konzipiert und ermöglicht zuverlässige Analysen. Es ist darauf ausgelegt, Berichterstellung, Analysen und Business Intelligence zu unterstützen, nicht jedoch die täglichen Transaktionen.

In diesem Leitfaden untersuchen wir, was ein Data-Warehouse ist, wie es funktioniert, wann ein Einsatz sinnvoll ist und wie es im Vergleich zu Datenbanken und Data-Lakes abschneidet. Wir erläutern auch, wie Data-Warehouses häufig zusammen mit transaktionalen Datenbanken wie MongoDB eingesetzt werden. Das Konzept eines Data-Warehouse entstand in den 1980er Jahren, um verschiedene Daten für die Analyse in einem einheitlichen Format zu integrieren.

Wichtige Erkenntnisse

  • Ein Data Warehouse ist für Analysen und Business Intelligence konzipiert, nicht für transaktionale Workloads. Es zentralisiert aktuelle und historische Daten aus mehreren operativen Systemen, um die Berichterstattung und Entscheidungsfindung zu unterstützen.
  • Zu den wichtigsten Vorteilen eines Data Warehouse zählen eine verbesserte Datenqualität und Zuverlässigkeit, eine umfassende Datenintegration sowie schnellere und zuverlässigere Analysen, die eine bessere Entscheidungsfindung und erweiterte Analysefunktionen ermöglichen.
  • Der entscheidende Unterschied, den es zu verstehen gilt, ist der zwischen OLTP und OLAP. Transaktionale Datenbanken verarbeiten häufige Echtzeitvorgänge, während Data Warehouses für komplexe analytische Abfragen in großen Mengen historischer Daten optimiert sind.
  • Ein Data Warehouse wird in der Regel dann benötigt, wenn Analysen und Berichte die operativen Datenbanken belasten, wenn Metriken zwischen den Teams nicht konsistent sind oder wenn die Analyse historischer Trends für das Unternehmen entscheidend wird.
  • Transaktionale Datenbanken wie MongoDB werden häufig mit Data-Warehouses kombiniert, sodass Anwendungen effizient ausgeführt werden können, während Analyse-Workloads separat verarbeitet werden.

Inhaltsverzeichnis

Was ist ein Data-Warehouse?

Ein Data Warehouse ist ein zentralisiertes System, das aktuelle und historische Daten aus mehreren Quellsystemen speichert. Es ist für Abfragen, Analysen und Reporting optimiert und nicht für die Verarbeitung transaktionaler Workloads. Es aggregiert und konsolidiert strukturierte und historische Daten aus verschiedenen Quellen, um Business Intelligence und die Entscheidungsfindung zu unterstützen.

Data Warehouses speichern in der Regel strukturierte und halbstrukturierte Daten, die bereinigt, transformiert und in konsistenten Datenmodellen organisiert wurden. Dies ermöglicht eine effiziente Datenanalyse durch die Bereitstellung strukturierter, qualitativ hochwertiger Daten, wodurch es für Geschäftsanwender, Datenanalysten und Data Scientists einfacher wird, Daten zu analysieren, Trends zu erkennen und die Entscheidungsfindung zu unterstützen.

Operative Datenbanken speichern und verwalten die von operativen Systemen generierten Daten (d. h. den Anwendungen und Diensten, die die täglichen Geschäftsabläufe wie beispielsweise die Auftragsabwicklung unterstützen) und sind auf Leistung, Aggregation sowie komplexe analytische Abfragen über große Datenmengen hinweg optimiert.

Eine kurze Geschichte der Data-Warehouses

Das Konzept des Data Warehouse entstand, um der wachsenden Diskrepanz zwischen operativen Systemen und analytischen Anforderungen zu begegnen.

In den 1980er und frühen 1990er Jahren waren Unternehmen für die Erstellung von Berichten in hohem Maße auf operative Datenbanken angewiesen. Mit steigendem Datenvolumen führten analytische Abfragen dazu, dass Transaktionssysteme langsamer wurden und inkonsistente Kennzahlen lieferten. Um diese Lücke zu schließen, wurden in frühen Architekturen Staging-Ebenen und operative Datenspeicher eingeführt, um das Berichtswesen vom Tagesgeschäft zu trennen.

Das moderne Data Warehousing nahm Anfang der 1990er Jahre durch die Arbeit von Bill Inmon Gestalt an, der das Data Warehouse als ein zentralisiertes, themenorientiertes System zur Entscheidungsunterstützung definierte. Etwa zur gleichen Zeit machte Ralph Kimball die dimensionale Modellierung bekannt, die Datenstrukturen für analytische Abfragen und Business Intelligence optimierte.

In den 2000er Jahren setzten sich Unternehmens-Data-Warehouses und Data Marts (kleine, domänenspezifische Teilmengen eines Data-Warehouses) durch, obwohl sie in der Regel lokal eingerichtet wurden und erhebliche Vorabinvestitionen erforderten. Der Aufstieg von Big Data in den späten 2000er Jahren führte zu Data Lakes, die die Speicherflexibilität erweiterten, aber Data Warehouses nicht ersetzten.

Der Wechsel zu Cloud-Infrastrukturen in den 2010er-Jahren veränderte das Data Warehousing grundlegend durch die Trennung von Speicher und Rechenleistung und ermöglichte elastische Skalierung sowie Managed Services. Heute fungieren Data Warehouses als Teil umfassenderer Datenumgebungen und arbeiten mit transaktionalen Datenbanken, Data Lakes und Analyseplattformen zusammen, um ein Gleichgewicht zwischen Leistung, Flexibilität und Governance herzustellen.

Welche Probleme löst ein Data-Warehouse?

Mit dem Wachstum eines Unternehmens werden die Daten über operative Systeme hinweg fragmentiert. Die Reporting-Logik wird oft dupliziert, die Kennzahlen werden inkonsistent, und analytische Abfragen können die Leistung der Anwendung beeinträchtigen.

Ein Data Warehouse hilft bei der Lösung dieser Herausforderungen durch:

  • Zentralisierung von Daten aus mehreren Quellen in einem einzigen Repository
  • Standardisierung von Definitionen und Kennzahlen in den Teams
  • Verbesserung der Abfrageleistung für Analyse-Workloads
  • Trennung der analytischen Verarbeitung von transaktionalen Systemen
  • Unterstützung von Business Intelligence und Berichterstellung bei der Skalierung
  • Unterstützung von Unternehmen bei der effizienten Verwaltung von Daten über Abteilungen und Umgebungen hinweg

Governance-Kontrollen in Data Warehouses zentralisieren sensible Datensätze und vereinfachen die Einhaltung von Vorschriften durch die Bereitstellung eines Prüfpfads für Datenherkunft und -nutzung.

Das Ergebnis sind zuverlässigere Analysen und ein klareres Verständnis der Unternehmensleistung.

Data Warehouse vs. Datenbank vs. Data Lake

Data Warehouses, Datenbanken und Data Lakes nehmen innerhalb einer modernen Datenarchitektur unterschiedliche Rollen ein.

  • Datenbanken unterstützen betriebliche Workloads sowie die Anwendungslogik und sind darauf ausgelegt, Daten in strukturierten, häufig normalisierten Formaten zu speichern, die für die Transaktionsverarbeitung optimiert sind.
  • Data Warehouses unterstützen Analysen, Berichte und BI und speichern Daten in einem dimensionalen Modell, das für schnelle Abfragen und Analysen optimiert ist.
  • Data Lakes speichern große Mengen an Rohdaten in ihrem ursprünglichen Format, sodass Unternehmen Daten für eine flexible Analyse sowohl in strukturierter als auch in unstrukturierter Form speichern können.

Diese Systeme werden häufig gemeinsam und nicht isoliert eingesetzt. Viele Unternehmen kombinieren transaktionale Datenbanken, Data Lakes und Data Warehouses, um ein Gleichgewicht zwischen Leistung, Flexibilität und Governance herzustellen.

Einen ausführlicheren Vergleich finden Sie in unserem Leitfaden zu Data Lakes im Vergleich zu Data Warehouses.

OLTP vs. OLAP. Verstehen der Unterschiede

Um zu verstehen, wann ein Data Warehouse benötigt wird, ist es hilfreich, zwischen OLTP- und OLAP-Systemen zu unterscheiden.

Systeme für die Online-Transaktionsverarbeitung (OLTP) sind für die Unterstützung von betrieblichen Workloads konzipiert. Diese Systeme bewältigen häufige kleine Transaktionen wie Benutzeranmeldungen, Käufe, Updates und Anwendungsinteraktionen.

OLAP-Systeme (Online Analytical Processing) sind für die Analyse konzipiert. Sie unterstützen komplexe Abfragen in großen Datensätzen, die oft Monate oder Jahre an historischen Daten umfassen. OLAP-Systeme sind speziell für die Verarbeitung mehrdimensionaler Daten ausgelegt und ermöglichen schnelle, komplexe Abfragen über mehrere Dimensionen wie Zeit, Ort und Produkt hinweg. Darüber hinaus bieten OLAP-Systeme fortschrittliche analytische Funktionen für Business Intelligence und Datenanalyse, die es Unternehmen ermöglichen, Erkenntnisse zu gewinnen und datengestützte Entscheidungen zu treffen.

Vergleich OLTP vs. OLAP

DimensionOLTP-Systeme (transaktionale Datenbanken)OLAP-Systeme (Data Warehouses)
HauptzweckFühren Sie Anwendungen und Geschäftsprozesse ausDatenanalyse und BI-Support
AbfragemusterEinfache, schnelle Lese- und SchreibvorgängeKomplexe, lang laufende Abfragen
DatenbereichAktuelle operative DatenHistorische und aggregierte Daten
Source of TruthAutoritatives System für aktuelle operative DatenAbgeleitetes Analysesystem, das aus operativen Quellen erstellt wurde
LeistungsfokusTransaktionen mit niedriger LatenzAnalysen mit hohem Durchsatz

 

Hinweis: Transaktionale Datenbanken und Data Warehouses sind keine konkurrierenden Technologien. Es handelt sich um komplementäre Systeme, die für unterschiedliche Workloads konzipiert sind. In gut konzipierten Architekturen arbeiten OLTP- und OLAP-Systeme zusammen, um sowohl die betriebliche Effizienz als auch analytische Erkenntnisse zu unterstützen.

Wann brauchen Sie ein Data-Warehouse?

Ein Data-Warehouse ist möglicherweise sinnvoll, wenn Folgendes zutrifft:

  • Sie analysieren Daten aus mehreren operativen Systemen
  • Geschäftsanwender benötigen konsistente und vertrauenswürdige Metriken
  • Reporting-Abfragen beeinträchtigen die Anwendungsleistung
  • Sie müssen historische Trends analysieren, nicht nur den aktuellen Zustand
  • Die Analytik-Logik ist in Anwendungsdatenbanken schwer zu verwalten
  • Data Governance und Zugriffskontrolle gewinnen an Bedeutung

Wenn Ihr Hauptarbeitsaufwand Echtzeittransaktionen oder den Zugriff auf Anwendungsdaten umfasst, ist eine OLTP-Datenbank normalerweise die richtige Wahl. Wenn Analytik und Berichterstattung zu zentralen Bestandteilen des Geschäftsbetriebs werden, gewinnt ein Data Warehouse an Bedeutung.

Architektur und Schichten eines Data Warehouse

Ein Data Warehouse ist in der Regel als mehrschichtige Architektur konzipiert, bei der jede Schicht für einen bestimmten Bereich der Datenverarbeitung verantwortlich ist. Diese Trennung hilft Teams dabei, Belange zu isolieren, die Leistung zu verbessern und Teile des Systems unabhängig weiterzuentwickeln. Obwohl die Implementierungen von Unternehmen zu Unternehmen variieren, folgen die meisten Data-Warehouse-Systeme einem mehrschichtigen Ansatz, bei dem Daten aus operativen Quellen durch Transformations- und Speicherschichten geleitet werden, bevor sie für Analysen und die Durchführung von

Quellsysteme

Zu den Quellsystemen zählen operative Datenbanken, SaaS-Anwendungen, Protokolldateien und externe Datenquellen. Diese Systeme generieren die Rohdaten, die in das Data Warehouse einfließen, und dienen in der Regel als maßgebliche Informationsquelle für den täglichen Betrieb.

Staging und Erfassung

Die Daten werden in einen Staging-Bereich aufgenommen, wo sie validiert, bereinigt und für die Transformation vorbereitet werden können. Diese Ebene fungiert als Puffer zwischen den Quellsystemen und dem Warehouse und ermöglicht es, Daten bei Bedarf zu inspizieren, zu organisieren und neu zu verarbeiten, ohne die Produktionssysteme zu beeinträchtigen.

Transformation und Modellierung

In dieser Ebene werden Daten in einheitliche Formate umgewandelt und in analytischen Datenmodellen organisiert. Hier werden Geschäftslogik, Aggregationen und Standarddefinitionen angewendet.

Speicherschichten

Daten werden häufig je nach Zugriffsmuster auf verschiedene Ebenen verteilt gespeichert. Häufig abgerufene Daten können auf einem schnelleren Speichermedium abgelegt werden, während ältere historische Daten kostengünstiger gespeichert werden können. Darüber hinaus werden Zusammenfassungsdaten – aggregierte Informationen, die aus detaillierten Transaktionsdaten abgeleitet werden – im Data Warehouse häufig zusammen mit Rohdaten gespeichert, um die Berichterstellung und Entscheidungsfindung zu erleichtern.

Analytics- und BI-Tools

Business-Intelligence-Tools, Analyseplattformen und Workflows für maschinelles Lernen fragen das Data Warehouse ab, um Einblicke, Dashboards und Berichte zu generieren. Diese Tools nutzen die analytischen Funktionen des Data Warehouse, um Business Intelligence und fortgeschrittene Analysen zu unterstützen.

Anwendungsfälle für Data-Warehouses

Ein Data Warehouse ist kein universell einsetzbares Datensystem. Es ist gezielt für analytische Workloads optimiert, und diese Optimierungen gehen mit Kompromissen einher, die es für transaktionale Anwendungsfälle ungeeignet machen.

Data Warehouses sind darauf ausgelegt, große Mengen historischer Daten über viele Dimensionen hinweg zu unterstützen. Daten werden typischerweise erfasst, transformiert und in analytischen Modellen strukturiert, die Leseleistung, Aggregation sowie schnelle und effiziente analytische Abfragen begünstigen. Allerdings werden Daten weder konsistent aktualisiert, noch sind sie für Schreibvorgänge mit hoher Frequenz oder Transaktionen mit geringer Latenz optimiert.

Im Gegensatz dazu sind transaktionale Systeme darauf ausgelegt, große Mengen kleiner Echtzeit-Vorgänge zu verarbeiten. Sie priorisieren unmittelbare Konsistenz, schnelle Einfügungen und Aktualisierungen sowie vorhersehbare Antwortzeiten für Anwendungsworkflows.

Geeignete Anwendungsfälle

  • Business Intelligence und Berichterstattung
  • Executive Dashboards und wichtige Leistungskennzahlen (KPIs)
  • Trendanalyse und -prognose
  • Analyse der historischen Leistung
  • Data Mining- und Analyse-Workloads
  • Integration von Daten aus Kassensystemen für Transaktionsanalyse und Berichterstattung

Wenn es für diese Zwecke eingesetzt wird, wird ein Data Warehouse zu einem unverzichtbaren System zur Entscheidungsunterstützung.

Ungeeignete Anwendungsfälle

Data Warehouses sind nicht für Arbeitslasten geeignet, die sofortige Konsistenz, Antworten mit geringer Latenz oder häufige Schemaänderungen erfordern, die durch die Anwendungsentwicklung vorangetrieben werden.

Zu den nicht geeigneten Anwendungsfällen gehören:

  • Transaktionale Workloads mit hohem Volumen
  • Anwendungsabfragen mit geringer Latenz
  • Betriebsaktualisierungen in Echtzeit
  • Sich schnell ändernde Schemata ohne absichtliche Modellierung

Data Warehouses sind von Natur aus weder teuer noch komplex. Sie werden erst dann kostspielig, wenn von ihnen erwartet wird, dass sie sich wie transaktionale Systeme verhalten, was zu unnötiger Latenz, betrieblichen Risiken und architektonischer Komplexität führt.

Die Grenzen eines Data-Warehouse

Data-Warehouses können Folgendes sein:

Teuer: Oft ist es erforderlich, große Mengen historischer Daten zu speichern, rechenintensive Analyseabfragen auszuführen und Pipelines für die Aufnahme, Transformation und Governance zu pflegen. Laufende Infrastruktur- und Betriebsbedarfe treiben die Kosten in die Höhe, wenn Daten und Nutzung zunehmen.

Komplex: Der Aufbau und Betrieb eines Data Warehouse erfordert die Verwaltung mehrerer Ebenen, einschließlich Datenmodellierung, Aufnahme, Transformation und Zugriffsverwaltung. Die Teams definieren konsistente Metriken, verwalten Schemaänderungen und wahren die Datenqualität, was in der Regel spezielle Fähigkeiten und erhebliche Koordination erfordert.

Zeitaufwendig: Der Prozess des Ladens und Transformierens von Daten kann zeitaufwendig sein, insbesondere beim Umgang mit großen Datenmengen.

Inflexibel: Die Struktur eines Data Warehouse ist in der Regel starr, was die Anpassung an veränderte Geschäftsanforderungen erschweren kann.

Eingeschränkt: Data-Warehouses sind auf Berichterstattung und Analyse optimiert, was ihren Nutzen für andere Arten der Datenverarbeitung einschränken kann.

Wie ein Data-Warehouse mit MongoDB funktioniert

Data Warehouses werden häufig mit transaktionalen Datenbanken kombiniert, anstatt sie zu ersetzen.

In einer typischen Architektur speichert eine OLTP-Datenbank wie MongoDB die von Anwendungen genutzten operativen Daten. Diese Daten werden dann in ein Data Warehouse repliziert oder gestreamt, wo sie transformiert und analysiert werden können, ohne die Anwendungsleistung zu beeinträchtigen.

Dieser Ansatz ermöglicht es jedem System, sich auf das zu konzentrieren, was es am besten kann:

  • Die transaktionale Datenbank unterstützt schnelle, zuverlässige Vorgänge
  • Das Data Warehouse unterstützt Analysen und Business Intelligence

Moderne Architekturen nutzen zunehmend Lakehouse- und connectorbasierte Ansätze, die strukturierte Methoden zur Verschiebung, Synchronisierung und Bereitstellung von operativen Daten für Analyseplattformen bieten, ohne die Systeme zu koppeln. Bei diesen Mustern streamen oder replizieren Connectoren Daten von operativen Datenbanken in Analyseumgebungen, während Lakehouse-Plattformen Analysen im Warehouse-Stil mit Data Lake-Speicher kombinieren.

So ermöglichen Integrationen zwischen MongoDB und Plattformen wie Databricks die Analyse von operativen Daten mit OLAP-Systemen, während die OLTP-Leistung erhalten bleibt.

Wie die beiden Systeme zusammenarbeiten

Eine typische Architektur folgt diesem Muster:

  1. Anwendungen schreiben operative Daten in MongoDB
  2. Daten werden repliziert, gestreamt oder per Batch in ein Data-Warehouse geladen
  3. Das Data Warehouse transformiert und modelliert die Daten für die Analytik.
  4. BI-Tools und Analysten fragen das Warehouse ab, das ein von der Anwendungsdatenbank getrenntes System ist

In dieser Architektur interagieren Anwendungen ausschließlich mit der operativen Datenbank, während analytische Workloads vollständig im Data Warehouse ausgeführt werden. Diese Trennung stellt sicher, dass analytische Abfragen nicht mit transaktionalen Workloads konkurrieren, sodass jedes System unabhängig und effizient arbeiten kann. MongoDB unterstützt schnelle und zuverlässige Transaktionen, während das Data Warehouse komplexe analytische Abfragen für große Datensätze unterstützt.

Warum dieser Ansatz wichtig ist

Die Verwendung eines Data-Warehouse mit MongoDB unterstützt Unternehmen dabei:

  • Vermeiden Sie die Ausführung schwerer Analyseabfragen in operativen Datenbanken
  • Aufrechterhaltung der Anwendungsleistung bei zunehmender Nutzung von Analysetools
  • Konsistente Metriken über Teams hinweg beibehalten
  • Analysieren von historischen Trends, ohne die Anwendungsschemata zu verkomplizieren

MongoDB ist für operative Workloads optimiert. Es eignet sich hervorragend für die Verarbeitung von Transaktionen mit hohem Volumen, flexiblen Schemas und Lese-/Schreibzugriffen mit geringer Latenz, die Live-Anwendungen unterstützen. Data Warehouses sind dagegen für analytische Workloads optimiert. Sie sind darauf ausgelegt, große Mengen historischer Daten über viele Dimensionen hinweg zu scannen und zu aggregieren, wobei oft rechenintensive Abfragen verwendet werden, die in einer operativen Datenbank ineffizient wären und den Betrieb stören würden.

Durch die Trennung dieser Aspekte können Unternehmen vermeiden, auf Betriebsdaten aufwendige analytische Abfragen durchzuführen, die Anwendungsleistung auch bei zunehmender Nutzung von Analysen aufrechterhalten und teamübergreifend einheitliche, gemeinsam genutzte Kennzahlen sicherstellen.

In dieser Architektur dient MongoDB als primäres System zur Erfassung aktueller operativer Daten, während das Data Warehouse als abgeleitetes Analysesystem fungiert, das speziell für das Berichtswesen, die Trendanalyse und langfristige Erkenntnisse konzipiert wurde.

Moderne Integrationsmuster

Viele Unternehmen nutzen Konnektoren und Lakehouse-Architekturen, um operative und analytische Daten zu integrieren. So ermöglichen Integrationen zwischen MongoDB und Plattformen wie Databricks Unternehmen beispielsweise die Analyse von operativen Daten mithilfe von OLAP-Systemen, während die transaktionalen Workloads isoliert bleiben.

Diese Muster unterstützen Anwendungsfälle in den Bereichen Analytics, Machine Learning und Reporting, ohne dass ein einziges System inkompatible Workloads bewältigen muss.

Wann die Einführung eines Data-Warehouses sinnvoll ist

MongoDB kann grundlegende Analysen neben betrieblichen Workloads unterstützen, wenn die Anforderungen gering sind. Es bietet Aggregationsfunktionen und flexible Schemata, die sich gut für einfache Berichte und Einblicke auf Anwendungsebene eignen.

Wenn jedoch die Berichterstellung komplexer wird, das Datenvolumen zunimmt oder historische Analysen an Bedeutung gewinnen, stellen diese Zugriffsmuster konkurrierende Anforderungen an eine operative Datenbank. Ein praktischer nächster Schritt besteht darin, analytische Workloads unabhängig skalieren zu lassen, während MongoDB weiterhin als System of Record für operative Daten dient.

Grenzen und Kompromisse von Data-Warehouses

Data-Warehouses sind zwar leistungsfähig, haben aber ihre Grenzen.

Sie können sein:

  • Teuer
  • Aufwändige Konzipierung ohne angemessene Datenmodellierung
  • Zeitaufwändig in der Erstellung und Pflege
  • Weniger flexibel

Das Verständnis dieser Abwägungen ist entscheidend, wenn es darum geht, zu entscheiden, ob ein Data Warehouse die richtige Lösung ist.

Was ist eine Data-Warehouse-Ebene?

Data Warehouses werden häufig je nach Art der Datenverarbeitung, -speicherung und des Datenzugriffs in Ebenen unterteilt. Diese Schichten tragen dazu bei, Zuständigkeiten zu trennen, die Leistung zu verbessern und Kosten zu kontrollieren.

Gängige Data-Warehouse-Ebenen

Untere Ebene: Datenerfassung und -speicherung

Diese Ebene umfasst Quellsysteme, Ingestion-Pipelines und Rohspeicher. Daten werden aus Betriebssystemen, Anwendungen und externen Quellen gesammelt und in die Warehouse-Umgebung geladen. Rohe oder leicht verarbeitete Daten können zur Wiederverarbeitung oder Prüfung aufbewahrt werden.

Mittlere Ebene: Transformation und Modellierung

Auf der mittleren Ebene werden die Daten bereinigt, transformiert und für die Analyse modelliert. Hier werden Geschäftsregeln angewendet, Qualitätskontrollen der Daten durchgeführt und analytische Schemata erstellt. Diese Ebene ist für die Erstellung konsistenter und zuverlässiger Metriken von entscheidender Bedeutung.

Oberste Ebene: Analyse und Verbrauch

Die oberste Ebene umfasst BI-Tools, Dashboards, Analyseplattformen und Machine-Learning-Workflows. Geschäftsanwender, Analysten und Datenwissenschaftler arbeiten auf dieser Ebene mit Daten, um Trends zu erkennen, Berichte zu erstellen und die Entscheidungsfindung zu unterstützen.

Durch die Trennung dieser Ebenen können Unternehmen ihre Analysen skalieren, gleichzeitig ihre operativen Systeme schützen und die Kosten für Speicherung und Rechenleistung kontrollieren.

Was sind einige häufige Variationen von Data Warehouses?

Nicht alle Data-Warehouses sind gleich aufgebaut. Traditionelle On-Premises-Data-Warehouses sind hardwarebasierte Speicherlösungen, die Vorteile wie verbesserte Governance, Sicherheit, Datenhoheit und eine geringere Latenz bieten, aber komplex zu verwalten sein können. Das moderne Data Warehousing hat sich über diese lokalen Systeme hinaus weiterentwickelt und unterstützt mittlerweile cloudnative sowie hybride Architekturen.

Bis zum Jahr 2025 werden viele moderne Data Warehouses auch als „Lakehouses“ fungieren und dabei Governance und Struktur mit der flexiblen Speicherung eines Data Lake für KI- und Machine-Learning-Workloads verbinden.

Gängige Data-Warehouse-Varianten

Enterprise Data Warehouse (EDW)

Ein Enterprise Data Warehouse dient als zentralisierte Analyseplattform für das gesamte Unternehmen. Es integriert abteilungsübergreifende Daten und stellt eine einheitliche Datenquelle für das Berichtswesen und die Business Intelligence bereit.

Data Marts

Data Marts sind kleinere, fachspezifische Teilmengen eines Data Warehouse. Sie werden häufig für bestimmte Teams oder Anwendungsfälle entwickelt, wie z. B. Finanz-, Marketing- oder Vertriebsanalysen.

Herkömmliche Data-Warehouses

Herkömmliche Data Warehouses werden in der Regel vor Ort betrieben und erfordern erhebliche Vorabinvestitionen in die Infrastruktur. Sie basieren auf festen Schemata und langen Entwicklungszyklen.

Cloud-Data-Warehouses

Cloud-Data-Warehouses sind vollständig verwaltete Dienste, bei denen Speicher und Rechenleistung voneinander getrennt sind. Sie bieten elastische Skalierung, eine schnellere Einrichtung und eine nutzungsabhängige Abrechnung, was sie für viele moderne Unternehmen zur ersten Wahl macht.

Moderne Data-Warehouses

Moderne Data Warehouses legen Wert auf Flexibilität, die Integration mit Data Lakes sowie die Unterstützung für anspruchsvolle Analysen und Machine-Learning-Workloads. Sie sind darauf ausgelegt, parallel zu operativen Datenbanken zu funktionieren, anstatt diese zu ersetzen.

Die Wahl der richtigen Variante hängt von Datenvolumen, Latenzanforderungen, Governance-Anforderungen und der organisatorischen Reife ab.

Wie lässt sich ein Data Warehouse mit anderen Datensystemen vergleichen?

Das Verständnis der Unterschiede zwischen einem Data Warehouse und anderen Datensystemen hilft dabei, zu klären, wann es die richtige Lösung ist und wann nicht.

Data Warehouse vs. Data Lake

DimensionData WarehouseData Lake
DatenstrukturStrukturiert und modelliertRoh und semistrukturiert
SchemaVor Gebrauch definiertZum Zeitpunkt der Abfrage definiert
HauptnutzungBI und AnalysenErkundung und Experimente
GovernanceStarkFlexibel, aber weniger durchgesetzt
AbfrageperformanceFür Analysen optimiertHängt von der Verarbeitungsschicht ab

 

Data Warehouse vs. Data Mart

DimensionData WarehouseData Mart
UmfangUnternehmensweitAbteilungs- oder Anwendungsfallspezifisch
DatenvolumenGroßKleinere, kuratierte Teilmengen
GovernanceZentralisiertOft lokalisiert
AnwendungsfallUnternehmensanalyseZielgerichtetes Reporting

 

Wann ein Data-Warehouse Sinn macht

Ein Data Warehouse ist ein spezielles System, das für Analysen, Berichterstellung und Entscheidungsfindung konzipiert ist. Es bündelt Daten aus verschiedenen Quellen, wendet eine einheitliche Geschäftslogik an und unterstützt komplexe analytische Abfragen in großem Maßstab. Data Warehouses sind für analytische Zugriffsmuster optimiert, die für effektive KI- und Machine-Learning-Anwendungen unerlässlich sind. Sie stellen saubere, zuverlässige Daten bereit, die verschiedene KI- und Machine-Learning-Workflows unterstützen können, und erweitern so die für Business Intelligence und Advanced Analytics erforderlichen Analysefunktionen.

Sie ist kein Ersatz für transaktionale Datenbanken. Die effektivsten Datenarchitekturen kombinieren OLTP- und OLAP-Systeme, sodass jedes System seinen vorgesehenen Zweck erfüllen kann.

Bei korrekter Verwendung wird ein Data Warehouse zu einer zuverlässigen Grundlage für Business Intelligence und Datenanalyse. Bei unsachgemäßer Verwendung verursacht es unnötige Kosten und Komplexität.

FAQ

Integration von Databricks Lakehouse und MongoDB Atlas

Data Lakes vs. Data Warehouses vs. Datenbanken

Profitieren Sie noch heute von Atlas

Sie sind in Sekundenschnelle startbereit. Unsere kostenlosen Cluster bieten über 512 MB Speicherplatz, sodass Sie die Möglichkeiten unserer Plattform anhand von Beispieldaten kennenlernen können.
Kostenlos testenKontakt zum Vertrieb
IHR EINSTIEG MIT FOLGENDEN VORTEILEN:
  • Mehr als 125 Regionen weltweit
  • Beispieldatensätze
  • Lückenlose Authentifizierung
  • Lückenlose Verschlüsselung
  • Kommandozeilen-Tools