Che cos'è un data warehouse? Una guida completa

Che cos'è un data warehouse?

Un data warehouse è un sistema centralizzato che archivia dati attuali e storici da più sistemi di origine. È ottimizzato per l'interrogazione, l'analisi e la creazione di report piuttosto che per la gestione dei carichi di lavoro transazionali. Aggrega e consolida dati strutturati e storici provenienti da varie fonti per supportare la business intelligence e il processo decisionale.

I data warehouse in genere archiviano dati strutturati e semi-strutturati che sono stati puliti, trasformati e organizzati in modelli di dati coerenti. Questo consente un'analisi efficiente dei dati fornendo dati organizzati e di alta qualità, rendendo più semplice per utenti aziendali, data analyst e data scientist analizzare i dati, identificare tendenze e supportare il processo decisionale.

I database operativi archiviano e gestiscono i dati generati dai sistemi operativi (le applicazioni e i servizi che supportano le attività aziendali quotidiane, come l'elaborazione degli ordini) e sono ottimizzati per le prestazioni, l'aggregazione e le query analitiche complesse su grandi volumi di dati.

Breve storia dei data warehouse

Il concetto di data warehouse è emerso per colmare il crescente divario tra i sistemi operativi e le esigenze analitiche.

Negli anni '80 e all'inizio degli anni '90, le aziende facevano molto affidamento sui database operativi per generare report. Con l'aumento dei volumi di dati, le query analitiche hanno iniziato a rallentare i sistemi transazionali e a produrre metriche incoerenti. Per colmare questa lacuna, le prime architetture hanno introdotto layer di staging e archivi di dati operativi per separare il reporting dalle operazioni quotidiane.

Il moderno data warehousing ha preso forma all'inizio degli anni Novanta grazie al lavoro di Bill Inmon, che ha definito il data warehouse come un sistema centralizzato e orientato al soggetto progettato per il supporto alle decisioni. Nello stesso periodo, Ralph Kimball ha reso popolare la modellazione dimensionale, che ha ottimizzato le strutture dei dati per le query analitiche e la business intelligence.

Negli anni 2000, i data warehouse aziendali e i data mart (che sono piccoli sottoinsiemi specifici del dominio di un data warehouse) sono diventati comuni, sebbene fossero tipicamente distribuiti in sede e richiedessero un investimento iniziale significativo. L'aumento dei big data alla fine degli anni 2000 ha introdotto i data lake, che hanno ampliato la flessibilità dello storage ma non hanno sostituito i data warehouse.

Il passaggio all'infrastruttura cloud negli anni 2010 ha trasformato il data warehousing separando l'archiviazione dal calcolo, consentendo scalabilità elastica e servizi gestiti. Oggi i data warehouse operano nell'ambito di ecosistemi di dati più ampi, lavorando insieme a database transazionali, data lake e piattaforme di analytics per bilanciare prestazioni, flessibilità e governance.

Quali problemi risolve un data warehouse?

Con la crescita delle organizzazioni, i dati diventano frammentati tra i vari sistemi operativi. La logica di reporting è spesso duplicata, le metriche diventano incoerenti e le query analitiche possono ridurre le prestazioni delle applicazioni.

Un data warehouse aiuta a risolvere queste sfide nei seguenti modi:

• Centralizzazione dei dati da più fonti in un unico repository
• Standardizzazione delle definizioni e delle metriche tra i team
• Miglioramento delle prestazioni delle query per i carichi di lavoro di analytics
• Separazione dell'elaborazione analitica dai sistemi transazionali
• Supporto alla business intelligence e alla reportistica su vasta scala
• Consentire alle organizzazioni di gestire in modo efficiente i dati tra reparti e ambienti

I controlli di governance nei data warehouse centralizzano i record sensibili e semplificano la conformità alle normative fornendo un audit trail della provenienza e dell'utilizzo dei dati.

Il risultato sono analytics più affidabili e una comprensione più chiara delle prestazioni aziendali.

Data warehouse vs database vs data lake

Data warehouse, database e data lake svolgono ruoli diversi all'interno di una moderna architettura dei dati.

• I database supportano carichi di lavoro operativi e la logica delle applicazioni e sono progettati per archiviare i dati in formati strutturati, spesso normalizzati, ottimizzati per l'elaborazione delle transazioni.
• I data warehouse supportano analytics, reportistica e BI e archiviano i dati in un modello dimensionale ottimizzato per query e analisi rapide.
• I data lake archiviano grandi volumi di dati grezzi nel loro formato originale, consentendo alle organizzazioni di memorizzare dati sia in forma strutturata che non strutturata per analisi flessibili.

Questi sistemi vengono spesso utilizzati insieme, piuttosto che isolati. Molte organizzazioni combinano database transazionali, data lake e data warehouse per bilanciare flessibilità, prestazioni e governance.

Per un confronto più approfondito, leggi la nostra guida sui data lake e i data warehouse.

OLTP rispetto a OLAP. Comprendere la differenza

Per capire quando è necessario un data warehouse, è utile distinguere tra i sistemi OLTP e OLAP.

I sistemi OLTP (online transaction processing) sono progettati per supportare i carichi di lavoro operativi. Questi sistemi gestiscono transazioni frequenti e di piccole dimensioni come registrazioni degli utenti, acquisti, aggiornamenti e interazioni con le applicazioni.

I sistemi OLAP (online analytical processing) sono progettati per l'analisi. Supportano query complesse su grandi set di dati, che spesso coprono mesi o anni di dati storici. I sistemi OLAP sono costruiti appositamente per gestire dati multidimensionali, consentendo query rapide e complesse su più dimensioni come tempo, posizione e prodotto. Inoltre, i sistemi OLAP offrono funzionalità analitiche avanzate per la business intelligence e l'analisi dei dati, consentendo alle organizzazioni di trarre insight e prendere decisioni basate sui dati.

Confronto tra OLTP e OLAP

Nota: i database transazionali e i data warehouse non sono tecnologie concorrenti. Sono sistemi complementari progettati per carichi di lavoro diversi. Nelle architetture ben progettate, i sistemi OLTP e OLAP lavorano insieme per supportare sia l'efficienza operativa che gli insight analitici.

Quando hai bisogno di un data warehouse?

Potresti aver bisogno di un data warehouse se:

• Analizzi i dati da diversi sistemi operativi
• Gli utenti business hanno bisogno di metriche coerenti e affidabili
• Le query di report stanno influenzando le prestazioni dell'applicazione
• Devi analizzare i trend storici, non solo lo stato attuale
• La logica di analytics è diventata difficile da gestire nei database delle applicazioni
• La governance dei dati e il controllo dell'accesso stanno diventando importanti

Se il tuo carico di lavoro principale prevede transazioni in tempo reale o l'accesso ai dati delle applicazioni, un database OLTP è solitamente la scelta giusta. Quando gli analytics e il reporting diventano centrali per l'attività, un data warehouse diventa utile.

Architettura e layer del data warehouse

Un data warehouse è in genere progettato come un'architettura a layer, in cui ciascun layer è responsabile di un intervallo specifico di elaborazione dei dati. Questa separazione aiuta i team a isolare le responsabilità, migliorare le prestazioni ed evolvere parti del sistema in modo indipendente. Sebbene le implementazioni varino a seconda dell'organizzazione, la maggior parte dei sistemi di data warehousing segue un approccio a layer, spostando i dati dalle sorgenti operative attraverso i layer di trasformazione e archiviazione prima di renderli disponibili per le analytics ed eseguire

Sistemi sorgente

I sistemi di origine comprendono database operativi, applicazioni SaaS, log file e origini dati esterne. Questi sistemi generano i dati grezzi che confluiscono nel warehouse e in genere fungono da fonte di verità autorevole per le operazioni quotidiane

Staging e ingestione

I dati vengono inseriti in un'area di staging dove possono essere convalidati, puliti e preparati per la trasformazione. Questo layer funge da buffer tra i sistemi di origine e il warehouse, consentendo di ispezionare, organizzare e rielaborare i dati, se necessario, senza influire sui sistemi di produzione.

Trasformazione e modellazione

In questo layer, i dati vengono trasformati in formati coerenti e organizzati in modelli di dati analitici. È qui che vengono applicate logica aziendale, aggregazioni e definizioni standard.

Livelli di storage

I dati vengono spesso archiviati in diversi livelli in base ai modelli di accesso. I dati a cui si accede frequentemente possono risiedere in archivi più veloci, mentre i dati storici meno recenti possono essere archiviati in modo più economico. Inoltre, i dati di sintesi - informazioni aggregate derivate dai dati transazionali dettagliati - vengono spesso archiviati insieme ai dati grezzi all'interno del data warehouse per facilitare la reportistica e il processo decisionale.

Strumenti di analytics e BI

Gli strumenti di business intelligence, le piattaforme di analytics e i flussi di lavoro di machine learning eseguono query sul data warehouse per generare insight, dashboard e report. Questi strumenti sfruttano le funzionalità analitiche del data warehouse per supportare la business intelligence e l'analisi avanzata.

Casi d'uso del data warehouse

Un data warehouse non è un sistema di dati per scopi generici. È appositamente ottimizzato per i carichi di lavoro analitici e tali ottimizzazioni comportano dei compromessi che lo rendono poco adatto ai casi d'uso transazionali.

I data warehouse sono progettati per supportare grandi volumi di dati storici attraverso molte dimensioni. I dati vengono solitamente inseriti, trasformati e organizzati in modelli analitici che favoriscono le prestazioni di lettura, l'aggregazione e query analitiche rapide ed efficienti. Tuttavia, i dati non vengono aggiornati in modo coerente e non sono ottimizzati per scritture ad alta frequenza o transazioni a bassa latency.

I sistemi transazionali, d'altra parte, sono progettati per elaborare grandi volumi di operazioni ridotte in tempo reale. Danno la priorità alla coerenza immediata, a inserimenti e aggiornamenti rapidi e a tempi di risposta prevedibili per i flussi di lavoro delle applicazioni.

Casi d'uso ideali

• Business intelligence e reportistica
• Dashboard esecutive e indicatori di prestazioni chiave (KPI)
• Analisi e previsione delle tendenze
• Analisi delle prestazioni storiche
• Carichi di lavoro di data mining e analytics
• Integrazione dei dati dai sistemi point-of-sale per l'analisi e il reporting delle transazioni

Quando viene utilizzato per questi scopi, un data warehouse diventa un sistema critico di supporto alle decisioni.

Casi d'uso poco adatti

I data warehouse sono poco adatti ai carichi di lavoro che richiedono coerenza immediata, risposte a bassa latency o frequenti modifiche dello schema determinate dallo sviluppo delle applicazioni.

I casi d'uso poco adatti includono:

• Carichi di lavoro transazionali ad alto volume
• Query applicative a bassa latency
• Aggiornamenti operativi in tempo reale
• Schemi che cambiano rapidamente senza una modellazione deliberata

I data warehouse non sono intrinsecamente costosi o complessi. Diventano costosi quando viene richiesto loro di comportarsi come sistemi transazionali, introducendo latency non necessaria, rischio operativo e complessità architetturale.

I limiti di un data warehouse

I data warehouse possono essere:

Costosi: spesso richiedono l'archiviazione di grandi volumi di dati storici, l'esecuzione di query analitiche a uso intensivo di calcolo e il mantenimento di pipeline per l'ingestione, la trasformazione e la governance. Le esigenze operative e di infrastruttura continuano ad aumentare i costi con la crescita dei dati e dell'utilizzo.

Complessi: la creazione e la gestione di un data warehouse comportano la gestione di più layer, tra cui la modellazione dei dati, l'ingestione, la trasformazione e la gestione dell'accesso. I team definiscono metriche coerenti, gestiscono le modifiche dello schema e mantengono la qualità dei dati, il che in genere richiede competenze specialistiche e un coordinamento significativo.

Dispendiosi in termini di tempo: il processo di caricamento e trasformazione dei dati può essere dispendioso in termini di tempo, soprattutto quando si ha a che fare con grandi volumi di dati.

Inflessibili: la struttura di un data warehouse è in genere fissa, il che può rendere difficile l'adattamento ai mutevoli requisiti aziendali.

Limitati: i data warehouse sono ottimizzati per reportistica e analisi, il che può limitare la loro utilità per altri tipi di attività di elaborazione dati.

Come funziona un data warehouse con MongoDB

I data warehouse vengono comunemente abbinati ai database transazionali anziché sostituirli.

In un'architettura tipica, un database OLTP come MongoDB archivia i dati operativi utilizzati dalle applicazioni. Tali dati vengono quindi replicati o riprodotti in streaming in un data warehouse, dove possono essere trasformati e analizzati senza influire sulle prestazioni dell'applicazione.

Questo approccio consente a ogni sistema di concentrarsi su ciò che sa fare meglio:

• Il database transazionale supporta operazioni rapide e affidabili
• Il data warehouse supporta l'analytics e la business intelligence

Le architetture moderne utilizzano sempre più approcci basati su lakehouse e connettori, che offrono modalità strutturate per trasferire, sincronizzare ed esporre i dati operativi alle piattaforme analitiche, senza creare un accoppiamento tra i sistemi. In questi modelli, i connettori trasmettono o replicano i dati dai database operativi agli ambienti analitici, mentre le piattaforme lakehouse combinano le funzionalità analitiche tipiche dei data warehouse con lo storage dei data lake.

Ad esempio, le integrazioni tra MongoDB e piattaforme come Databricks consentono di analizzare i dati operativi utilizzando i sistemi OLAP mantenendo le prestazioni OLTP.

Come funzionano insieme i due sistemi

Un'architettura tipica segue questo modello:

1. Le applicazioni scrivono dati operativi in MongoDB
2. I dati vengono replicati, riprodotti in streaming o caricati in batch in un data warehouse
3. Il data warehouse trasforma e modella i dati per l'analytics
4. Gli strumenti BI e gli analisti interrogano il data warehouse, che è un sistema separato dal database dell'applicazione

In questa architettura, le applicazioni interagiscono solo con il database operativo, mentre i carichi di lavoro analitici vengono eseguiti interamente sul data warehouse. Questa separazione garantisce che le query analitiche non siano in conflitto con i carichi di lavoro transazionali, consentendo a ogni sistema di operare in modo indipendente ed efficiente. MongoDB supporta transazioni rapide e affidabili, mentre il data warehouse supporta complesse query analitiche su grandi dataset.

Perché questo approccio è importante

L'utilizzo di un data warehouse con MongoDB aiuta le organizzazioni a:

• Evita di eseguire query analitiche pesanti sui database operativi
• Preserva le prestazioni delle applicazioni man mano che aumenta l'utilizzo di analytics
• Mantenere metriche coerenti tra i team
• Analizza le tendenze storiche senza complicare gli schemi applicativi

MongoDB è ottimizzato per i carichi di lavoro operativi. Eccelle nella gestione di transazioni ad alto volume, schemi flessibili e letture e scritture a bassa latency che supportano le applicazioni live. I data warehouse, invece, sono ottimizzati per i carichi di lavoro analitici. Sono progettati per scansionare e aggregare grandi volumi di dati storici su molte dimensioni, spesso utilizzando query che richiedono un uso intenso della computazione e che sarebbero inefficienti e dirompenti in un database operativo.

La separazione di queste aree di interesse aiuta le organizzazioni a evitare l'esecuzione di pesanti query analitiche sui dati operativi, a preservare le prestazioni delle applicazioni man mano che l'utilizzo degli analytics aumenta e a mantenere metriche coerenti e condivise tra i team.

In questa architettura, MongoDB funge da sistema di record primario per i dati operativi correnti, mentre il data warehouse agisce come un sistema analitico derivato creato specificamente per la reportistica, l'analisi delle tendenze e gli insight a lungo termine.

Modelli di integrazione moderni

Molte organizzazioni utilizzano connettori e architetture di tipo lakehouse per integrare i dati operativi e analitici. Ad esempio, le integrazioni tra MongoDB e piattaforme come Databricks consentono alle organizzazioni di analizzare i dati operativi utilizzando sistemi OLAP mantenendo isolati i carichi di lavoro transazionali.

Questi pattern supportano casi di utilizzo di analytics, machine learning e reporting senza costringere un singolo sistema a gestire carichi di lavoro incompatibili.

Quando introdurre un data warehouse

MongoDB è in grado di supportare analytics di base insieme a carichi di lavoro operativi quando la richiesta è bassa. Fornisce funzionalità di aggregazione e schema flessibili che funzionano bene per il reporting semplice e gli insight a livello di applicazione.

Tuttavia, man mano che la reportistica diventa più complessa, i volumi di dati aumentano o l'analisi storica diventa fondamentale, questi pattern di accesso generano richieste concorrenti su un database operativo. Consentire ai carichi di lavoro analitici di scalare in modo indipendente mentre MongoDB continua a fungere da sistema di record per i dati operativi diventa un pratico passaggio successivo.

Limiti e compromessi dei data warehouse

Sebbene potenti, i data warehouse presentano dei limiti.

Possono essere:

• Costoso
• Difficile da progettare senza un'adeguata modellazione dei dati
• Richiede molto tempo per essere popolato e mantenuto
• Meno flessibile

Comprendere questi compromessi è essenziale per decidere se un data warehouse è la soluzione giusta.

Che cos'è un livello di data warehouse?

I data warehouse sono spesso organizzati in livelli in base alla modalità di elaborazione, archiviazione e accesso dei dati. Questi livelli aiutano a separare le problematiche, migliorare le prestazioni e controllare i costi.

Livelli comuni di data warehouse

Livello inferiore: acquisizione e archiviazione dei dati

Questo livello include sistemi di origine, pipeline di acquisizione e archiviazione grezza. I dati vengono raccolti dai sistemi operativi, dalle applicazioni e dalle fonti esterne e caricati nell'ambiente di data warehouse. I dati grezzi o leggermente elaborati possono essere conservati per la rielaborazione o il controllo.

Livello intermedio: trasformazione e modellazione

Il livello intermedio è quello in cui i dati vengono puliti, trasformati e modellati per gli analytics. Vengono applicate le regole di business, eseguiti controlli di qualità sui dati e creati schemi analitici. Questo livello è fondamentale per produrre metriche coerenti e affidabili.

Di alto livello: analytics e consumo

Il livello superiore include strumenti di BI, dashboard, piattaforme di analytics e flussi di lavoro di machine learning. Gli utenti aziendali, gli analisti e i data scientist interagiscono con i dati in questo layer per esplorare le tendenze, generare report e supportare il processo decisionale.

La separazione di questi livelli aiuta le organizzazioni a scalare l'analytics proteggendo al tempo stesso i sistemi operativi e controllando i costi di storage e calcolo.

Quali sono alcune varianti comuni dei data warehouse?

Non tutti i data warehouse sono costruiti allo stesso modo. I data warehouse tradizionali e on-premise sono soluzioni di storage basate su hardware che offrono vantaggi come una migliore governance, sicurezza, sovranità dei dati e una minore latency, ma possono essere complessi da gestire. Il data warehousing moderno si è evoluto oltre questi sistemi on-premises per supportare le architetture cloud native e ibride.

Entro il 2025, molti data warehouse moderni funzioneranno anche come lakehouse, combinando governance e struttura con l'archiviazione flessibile di un data lake per i carichi di lavoro di AI e machine learning.

Varianti comuni dei data warehouse

Data warehouse di livello enterprise (EDW)

Un data warehouse di livello enterprise funge da piattaforma di analytics centralizzata per l'intera organizzazione. Integra i dati tra i vari reparti e fornisce un'unica fonte di verità per il reporting e la business intelligence.

Data mart

I data mart sono subset di data warehouse più piccoli e specifici per un determinato argomento. Sono spesso progettati per team o casi d'uso specifici, come la finanza, il marketing o gli analytics delle vendite.

Data warehouse tradizionali

I data warehouse tradizionali vengono solitamente implementati in locale e richiedono un significativo investimento iniziale nell'infrastruttura. Si basano su schemi fissi e lunghi cicli di sviluppo.

Data warehouse cloud

I data warehouse cloud sono servizi completamente gestiti che separano lo storage dal calcolo. Offrono una scalabilità elastica, un'installazione più rapida e una tariffazione a consumo, rendendoli la scelta predefinita per molte organizzazioni moderne.

Data warehouse moderni

I data warehouse moderni enfatizzano la flessibilità, l’integrazione con i data lake e il supporto per carichi di lavoro di analytics avanzati e machine learning. Sono stati ideati per lavorare insieme ai database operativi piuttosto che per sostituirli.

La scelta della variante corretta dipende dal volume dei dati, dai requisiti di latency, dalle esigenze di governance e dalla maturità dell'organizzazione.

In che modo un data warehouse si confronta con altri sistemi di dati?

Comprendere come un data warehouse si confronta con altri sistemi di dati aiuta a chiarire quando è la soluzione giusta e quando non lo è.

Data warehouse vs data lake

Data warehouse vs data mart

Quando un data warehouse ha senso

Un data warehouse è un sistema specializzato progettato per analytics, reportistica e processi decisionali. Centralizza i dati provenienti da più fonti, applica una logica di business coerente e supporta query analitiche complesse su larga scala. I data warehouse sono ottimizzati per i modelli di accesso analitico, essenziali per applicazioni efficaci di AI e machine learning. Forniscono dati puliti e affidabili in grado di supportare vari flussi di lavoro di AI e machine learning, migliorando le funzionalità analitiche necessarie per la business intelligence e gli analytics avanzati.

Non sostituisce i database transazionali. Le architetture dei dati più efficaci combinano i sistemi OLTP e i sistemi OLAP, consentendo a ciascuno di servire il proprio scopo.

Se utilizzato correttamente, un data warehouse diventa una base affidabile per la business intelligence e gli analytics dei dati. Se utilizzato in modo non corretto, introduce costi e complessità non necessari.