조직은 애플리케이션 데이터베이스, 운영 도구, SaaS 플랫폼, 로그 및 외부 데이터 소스와 같은 운영 시스템을 포함한 다양한 시스템에서 데이터를 생성하며, 이 모든 시스템은 가치 있는 정보를 생성합니다. 시간이 지남에 따라 운영 시스템에서 직접 데이터를 분석하는 것은 어렵고 느리며 신뢰할 수 없게 됩니다. 데이터 웨어하우스는 중앙 리포지토리 역할을 하며 여러 소스의 데이터를 중앙 집중화하여 데이터 사일로를 제거합니다.
데이터 웨어하우스는 여러 소스의 데이터를 중앙 집중화 및 관리하고 분석에 적합하도록 준비함으로써 이 문제를 해결합니다. 데이터 웨어하우스는 정보를 중앙 집중화하여 단일 데이터 소스를 제공하고 일관적인 데이터 관리 관행을 지원합니다. 효율적인 데이터 저장 및 관리를 위해 설계되어 안정적인 분석을 가능하게 합니다. 일상적인 트랜잭션이 아닌 보고, 분석 및 비즈니스 인텔리전스를 지원하도록 설계되었습니다.
이 가이드에서는 데이터 웨어하우스란 무엇이며, 어떻게 작동하는지, 언제 사용하는 것이 적합한지, 그리고 데이터베이스 및 데이터 레이크와 어떻게 다른지 살펴봅니다. 또한 데이터 웨어하우스가 MongoDB와 같은 트랜잭션 데이터베이스와 함께 일반적으로 어떻게 사용되는지에 대해서도 설명합니다. 데이터 웨어하우스라는 개념은 서로 다른 데이터를 분석을 위해 일관적인 형식으로 통합하기 위해 1980년대에 등장했습니다.
주요 요점
데이터 웨어하우스는 트랜잭션 워크로드가 아닌 분석 및 비즈니스 인텔리전스를 위해 설계되었습니다. 여러 운영 시스템의 현재 및 과거 데이터를 중앙 집중화하여 보고 및 의사결정을 지원합니다.
데이터 웨어하우스의 주요 이점으로는 향상된 데이터 품질, 신뢰성, 포괄적인 데이터 통합, 더욱 빠르고 안정적인 분석을 들 수 있으며, 이는 더 나은 의사결정과 고급 분석 기능을 지원합니다.
이해해야 할 핵심 차이점은 OLTP와 OLAP입니다. 트랜잭션 데이터베이스는 빈번한 실시간 작업을 처리하는 반면, 데이터 웨어하우스는 대량의 과거 데이터에 대한 복잡한 분석 쿼리에 최적화되어 있습니다.
일반적으로 분석 및 보고로 인해 운영 데이터베이스에 부담이 가기 시작하거나, 팀 간 지표가 일관성이 없어지거나, 과거 추세 분석이 비즈니스에 매우 중요해질 때 데이터 웨어하우스가 필요합니다.
MongoDB와 같은 트랜잭션 데이터베이스는 일반적으로 데이터 웨어하우스와 함께 사용되어 분석 워크로드를 별도로 처리하면서 애플리케이션을 효율적으로 실행할 수 있도록 합니다.
데이터 웨어하우스는 여러 소스 시스템의 현재 데이터와 기록 데이터를 저장하는 중앙 집중식 시스템입니다. 이는 트랜잭션 워크로드를 처리하는 것보다 쿼리, 분석 및 보고에 최적화되어 있습니다. 다양한 소스의 정형 및 과거 데이터를 집계하고 통합하여 비즈니스 인텔리전스 및 의사결정을 지원합니다.
데이터 웨어하우스는 일반적으로 정제되고 변환된 후 일관적인 데이터 모델로 구성된 정형 및 반정형 데이터를 저장합니다. 이렇게 하면 체계적이고 고품질의 데이터를 제공하여 효율적인 데이터 분석이 가능해지며, 비즈니스 사용자, 데이터 분석가, 데이터 과학자가 데이터를 분석하고 추세를 파악하며 의사 결정을 지원하는 것이 더 쉬워집니다.
운영 데이터베이스는 운영 시스템(주문 처리와 같은 일상적인 비즈니스 활동을 지원하는 애플리케이션 및 서비스)에서 생성된 데이터를 저장 및 관리하며, 대량의 데이터에 대한 성능, 집계 및 복잡한 분석 쿼리에 최적화되어 있습니다.
데이터 웨어하우스의 간략한 역사
데이터 웨어하우스 개념은 운영 시스템과 분석 요구 사항 간의 단절이 커지는 문제를 해결하기 위해 등장했습니다.
1980년대와 1990년대 초반에 조직은 보고서를 생성하기 위해 운영 데이터베이스에 크게 의존했습니다. 데이터 양이 증가함에 따라 분석 쿼리가 트랜잭션 시스템의 속도를 늦추고 일관성 없는 지표를 생성하기 시작했습니다. 이 격차를 해소하기 위해 초기 아키텍처에서는 스테이징 계층과 운영 데이터 저장소를 도입하여 일상적인 작업과 보고를 분리했습니다.
현대적 데이터 웨어하우징은 1990년대 초 Bill Inmon의 연구를 통해 구체화되었으며, 그는 데이터 웨어하우스를 의사 결정 지원을 위해 설계된 중앙 집중식 주제 지향적 시스템으로 정의했습니다. 비슷한 시기에 Ralph Kimball은 분석 쿼리와 비즈니스 인텔리전스에 맞게 데이터 구조를 최적화한 차원 모델링을 대중화했습니다.
2000년대에는 엔터프라이즈 데이터 웨어하우스와 데이터 마트(데이터 웨어하우스의 도메인별 소규모 하위 집합)가 보편화되었지만, 일반적으로 온프레미스에 배포되었으며 상당한 초기 투자가 필요했습니다. 2000년대 후반 빅데이터의 부상으로 데이터 레이크가 도입되어 저장 유연성이 확장되었지만, 데이터 웨어하우스를 대체하지는 못했습니다.
2010년대 클라우드 인프라로의 전환은 저장을 컴퓨팅과 분리함으로써 데이터 웨어하우징을 혁신하여 유연한 확장과 관리형 서비스 제공이 가능하도록 했습니다. 오늘날 데이터 웨어하우스는 더 넓은 데이터 에코시스템의 일부로 운영되어 트랜잭션 데이터베이스, 데이터 레이크 및 분석 플랫폼과 협력하여 성능, 유연성 및 거버넌스의 균형을 맞춥니다.
데이터 웨어하우스는 어떤 문제를 해결하나요?
조직이 성장함에 따라 데이터가 운영 시스템 전체에 파편화됩니다. 보고 로직이 중복되는 경우가 많고, 지표가 일관되지 않으며, 분석 쿼리로 인해 애플리케이션 성능이 저하될 수 있습니다.
데이터 웨어하우스는 다음과 같은 방식으로 이러한 과제를 해결합니다.
여러 소스의 데이터를 단일 리포지토리로 중앙 집중화
팀 전반에 걸친 정의 및 지표 표준화
분석 워크로드의 쿼리 성능 향상
분석 처리를 트랜잭션 시스템에서 분리
대규모 비즈니스 인텔리전스 및 보고 지원
조직이 부서 및 환경 전반에서 데이터를 효율적으로 관리할 수 있도록 지원
데이터 웨어하우스의 거버넌스 제어는 데이터 출처 및 사용에 대한 감사 추적을 제공하여 민감한 기록을 중앙 집중화하고 규정 컴플라이언스를 간소화합니다.
그 결과 더 안정적인 분석과 비즈니스 성과에 대한 더 명확한 이해를 얻을 수 있습니다.
데이터 웨어하우스, 데이터베이스, 데이터 레이크 비교
데이터 웨어하우스, 데이터베이스, 데이터 레이크는 현대적인 데이터 아키텍처 내에서 서로 다른 역할을 수행합니다.
데이터베이스는 운영 워크로드와 애플리케이션 로직을 지원하며, 트랜잭션 처리에 최적화된 대개 정규화된 정형 형식으로 데이터를 저장하도록 설계되었습니다.
데이터 웨어하우스는 분석, 보고, BI를 지원하며, 빠른 쿼리와 분석을 위해 최적화된 차원 모델로 데이터를 저장합니다.
데이터 레이크는 방대한 양의 원시 데이터를 원래 형식으로 저장하므로 조직은 유연한 분석을 위해 정형 및 비정형 형태 모두로 데이터를 저장할 수 있습니다.
이러한 시스템은 종종 단독으로 사용되기보다는 함께 사용됩니다. 많은 조직에서 트랜잭션 데이터베이스, 데이터 레이크 및 데이터 웨어하우스를 결합하여 유연성, 성능 및 거버넌스의 균형을 유지합니다.
데이터 웨어하우스가 언제 필요한지 이해하려면 OLTP 시스템과 OLAP 시스템을 구분하는 것이 도움이 됩니다.
OLTP(온라인 트랜잭션 처리) 시스템은 운영 워크로드를 지원하도록 설계되었습니다. 이러한 시스템은 사용자 등록, 구매, 업데이트 및 애플리케이션 상호 작용과 같은 빈번한 소규모 트랜잭션을 처리합니다.
OLAP(온라인 분석 처리) 시스템은 분석을 위해 설계되었습니다. 이 시스템은 수개월 또는 수년의 과거 데이터를 포괄하는 대규모 데이터 세트에서 복잡한 쿼리를 지원합니다. OLAP 시스템은 다차원 데이터를 처리하도록 특별히 설계되었으므로 시간, 위치, 제품 등 여러 차원에 걸쳐 빠르고 복잡한 쿼리를 수행할 수 있습니다. 또한 OLAP 시스템은 비즈니스 인텔리전스 및 데이터 분석을 위한 고급 분석 기능을 제공하여 조직이 인사이트를 도출하고 데이터 기반 의사 결정을 내릴 수 있도록 지원합니다.
OLTP와 OLAP 비교
차원
OLTP 시스템(트랜잭션 데이터베이스)
OLAP 시스템(데이터 웨어하우스)
프라이머리 목적
애플리케이션 및 비즈니스 프로세스 실행
데이터 분석 및 BI 지원
쿼리 패턴
간단하고 빠른 읽기 및 쓰기 (write)
복잡하고 장기 실행되는 쿼리
데이터 범위
현재 운영 데이터
과거 데이터 및 집계된 데이터
진실의 원천
현재 운영 데이터를 위한 공인된 기록 시스템
운영 소스로부터 빌드된 파생 분석 시스템
성능 중심
짧은 지연 시간 트랜잭션
높은 처리량의 분석
참고: 트랜잭션 데이터베이스와 데이터 웨어하우스는 경쟁 기술이 아닙니다. 두 시스템은 서로 다른 워크로드를 위해 설계된 상호 보완적인 시스템입니다. 잘 설계된 아키텍처에서 OLTP 및 OLAP 시스템은 함께 작동하여 운영 효율성과 분석 인사이트를 모두 지원합니다.
데이터 웨어하우스는 언제 필요할까요?
다음과 같은 경우 데이터 웨어하우스가 필요할 수 있습니다.
여러 운영 시스템의 데이터를 분석합니다
비즈니스 사용자가 일관적이고 신뢰할 수 있는 지표를 필요로 합니다
보고 쿼리가 애플리케이션 성능에 영향을 미치고 있습니다
현재 상태뿐만 아니라 과거 추세를 분석해야 합니다
분석 로직을 애플리케이션 데이터베이스에서 관리하기가 어려워졌습니다
데이터 거버넌스와 액세스 제어가 중요해지고 있습니다
주요 워크로드가 실시간 트랜잭션 또는 애플리케이션 데이터 액세스와 관련되어 있다면 OLTP 데이터베이스가 대개 적합한 선택입니다. 분석과 보고가 비즈니스의 중심이 되면 데이터 웨어하우스가 중요해집니다.
데이터 웨어하우스 아키텍처 및 계층
데이터 웨어하우스는 일반적으로 계층화된 아키텍처로 설계되며, 각 계층은 특정 범위의 데이터 처리를 담당합니다. 이러한 분리를 통해 팀은 문제를 격리하고 성능을 향상하며 시스템의 일부를 독립적으로 발전시킬 수 있습니다. 조직마다 구현 방식은 다르지만 대부분의 데이터 웨어하우징 시스템은 계층화된 접근 방식을 따르며, 운영 소스에서 데이터를 가져와 변환 및 저장 계층을 거쳐 분석 및 수행에 사용할 수 있도록 합니다.
소스 시스템
소스 시스템에는 운영 데이터베이스, SaaS 애플리케이션, 로그 파일, 외부 데이터 소스가 포함됩니다. 이러한 시스템은 웨어하우스로 유입되는 원시 데이터를 생성하며 일반적으로 일상적인 작업을 위한 신뢰할 수 있는 데이터 소스 역할을 합니다.
스테이징 및 수집
데이터는 스테이징 영역으로 수집되며, 이곳에서 데이터의 유효성을 검사하고 정리하고 변환을 위해 준비할 수 있습니다. 이 계층은 소스 시스템과 웨어하우스 사이에서 버퍼 역할을 하므로 프로덕션 시스템에 영향을 주지 않고 필요한 경우 데이터를 검사하고 정리하고 재처리할 수 있습니다.
변환 및 모델링
이 계층에서 데이터는 일관적인 형식으로 변환되고 분석 데이터 모델로 구성됩니다. 비즈니스 로직, 집계 및 표준 정의가 적용되는 곳입니다.
저장소 계층
데이터는 액세스 패턴에 따라 계층 전체에 저장되는 경우가 많습니다. 자주 액세스되는 데이터는 더 빠른 스토리지에 있을 수 있고, 오래된 기록 데이터는 더 비용 효율적으로 저장될 수 있습니다. 또한 상세한 트랜잭션 데이터에서 파생된 집계 정보인 요약 데이터는 보고 및 의사 결정을 용이하게 하기 위해 데이터 웨어하우스 내의 원시 데이터와 함께 저장되는 경우가 많습니다.
분석 및 BI 도구
비즈니스 인텔리전스 도구, 분석 플랫폼, 머신 러닝 워크플로는 데이터 웨어하우스를 쿼리하여 인사이트, 대시보드 및 보고서를 생성합니다. 이러한 도구는 데이터 웨어하우스의 분석 역량을 활용하여 비즈니스 인텔리전스와 고급 분석을 지원합니다.
데이터 웨어하우스 사용 사례
데이터 웨어하우스는 범용 데이터 시스템이 아닙니다. 분석 워크로드를 위해 의도적으로 최적화되었으며, 이러한 최적화에는 트랜잭션 사용 사례에는 적합하지 않은 상충 관계가 있습니다.
데이터 웨어하우스는 여러 차원에 걸쳐 대량의 과거 데이터를 지원하도록 설계되었습니다. 일반적으로 데이터는 읽기 성능, 집계, 빠르고 효율적인 분석 쿼리에 유리한 분석 모델로 수집, 변환 및 구성됩니다. 그러나 데이터가 일관되게 업데이트되지 않으며 빈번한 쓰기나 지연 시간이 짧은 트랜잭션에 최적화되어 있지 않습니다.
반면 트랜잭션 시스템은 대량의 소규모 실시간 작업을 처리하도록 설계되었습니다. 이 시스템은 애플리케이션 워크플로를 위해 즉각적인 일관성, 빠른 삽입 및 업데이트, 예측 가능한 응답 시간을 우선시합니다.
가장 적합한 사용 사례
비즈니스 인텔리전스 및 보고
임원용 대시보드 및 핵심 성과 지표(KPI)
추세 분석 및 예측
과거 성능 분석
데이터 마이닝 및 분석 워크로드
트랜잭션 분석 및 보고를 위한 POS 시스템의 데이터 통합
이러한 목적으로 사용될 때 데이터 웨어하우스는 중요한 의사결정 지원 시스템이 됩니다.
적합하지 않은 사용 사례
데이터 웨어하우스는 즉각적인 일관성, 지연 시간이 짧은 응답 또는 애플리케이션 개발로 인한 빈번한 스키마 변경이 필요한 워크로드에는 부적합합니다.
적합하지 않은 사용 사례는 다음과 같습니다.
대량 트랜잭션 워크로드
지연 시간이 짧은 애플리케이션 쿼리
실시간 운영 업데이트
의도적인 모델링 없이 빠르게 변경되는 스키마
데이터 웨어하우스가 기본적으로 비용이 많이 들거나 복잡한 것은 아닙니다. 데이터 웨어하우스에 트랜잭션 시스템처럼 작동하도록 요구하면 불필요한 지연 시간, 운영 위험, 아키텍처 복잡성이 발생하여 비용이 증가합니다.
데이터 웨어하우스의 한계
데이터 웨어하우스는 다음과 같이 나뉩니다.
비용: 대량의 과거 데이터를 저장하고, 컴퓨팅 집약적인 분석 쿼리를 실행하며, 수집, 변환 및 거버넌스를 위한 파이프라인을 유지해야 하는 경우가 많습니다. 데이터와 사용량이 증가함에 따라 지속적인 인프라 및 운영 요구 사항이 비용을 증가시킵니다.
복잡성: 데이터 웨어하우스를 구축하고 운영하려면 데이터 모델링, 수집, 변환, 액세스 관리 등 다양한 계층을 관리해야 합니다. 팀은 일관적인 지표를 정의하고, 스키마 변경 사항을 관리하고, 데이터 품질을 유지하는데, 이는 일반적으로 전문화된 스킬과 상당한 조율이 필요합니다.
시간 소모적: 데이터 로드 및 변환 프로세스는 특히 대량의 데이터를 처리할 때 시간이 많이 걸릴 수 있습니다.
비유연성: 데이터 웨어하우스의 구조는 일반적으로 고정되어 있어 변화하는 비즈니스 요구 사항에 적응하기 어려울 수 있습니다.
제한: 데이터 웨어하우스는 보고 및 분석에 최적화되어 있으므로 다른 유형의 데이터 처리 작업에는 유용성이 제한될 수 있습니다.
데이터 웨어하우스가 MongoDB와 함께 작동하는 방식
데이터 웨어하우스는 일반적으로 트랜잭션 데이터베이스를 대체하기보다는 함께 사용됩니다.
일반적인 아키텍처에서는 MongoDB와 같은 OLTP 데이터베이스가 애플리케이션에서 사용하는 운영 데이터를 저장합니다. 이후 해당 데이터는 데이터 웨어하우스로 복제 또는 스트리밍되어 애플리케이션 성능에 영향을 주지 않고 변환 및 분석될 수 있습니다.
이 접근 방식을 사용하면 각 시스템이 자신의 최적 작업에 집중할 수 있습니다.
트랜잭션 데이터베이스는 빠르고 신뢰할 수 있는 작업을 지원합니다
데이터 웨어하우스는 분석 및 비즈니스 인텔리전스를 지원합니다
최신 아키텍처에서는 레이크하우스 및 커넥터 기반 접근 방식을 점점 더 많이 채택하고 있으며, 이러한 접근 방식은 시스템 간 결합 없이 운영 데이터를 분석 플랫폼으로 이동, 동기화 및 노출할 수 있는 체계적인 방법을 제공합니다. 이러한 패턴에서 커넥터는 운영 데이터베이스의 데이터를 분석 환경으로 스트리밍하거나 복제하며, 레이크하우스 플랫폼은 웨어하우스 스타일의 분석 기능과 데이터 레이크 저장을 결합합니다.
예를 들어, MongoDB와 Databricks 같은 플랫폼을 통합하면 OLTP 성능을 유지하면서 OLAP 시스템을 사용하여 운영 데이터를 분석할 수 있습니다.
두 시스템이 함께 작동하는 방식
일반적인 아키텍처는 이 패턴을 따릅니다:
애플리케이션은 운영 데이터를 MongoDB에 씁니다.
데이터는 데이터 웨어하우스로 복제, 스트리밍 또는 배치 로드됩니다.
데이터 웨어하우스는 분석을 위해 데이터를 변환하고 모델링합니다.
BI 도구와 분석가는 애플리케이션 데이터베이스와는 별도의 시스템인 웨어하우스를 쿼리합니다.
이 아키텍처에서 애플리케이션은 운영 데이터베이스와만 상호 작용하는 반면, 분석 워크로드는 데이터 웨어하우스에서 전체적으로 실행됩니다. 이러한 분리를 통해 분석 쿼리가 트랜잭션 워크로드와 경쟁하지 않게 되어 각 시스템이 독립적이고 효율적으로 운영될 수 있습니다. MongoDB는 빠르고 안정적인 트랜잭션을 지원하는 반면, 데이터 웨어하우스는 대규모 데이터 세트에서 복잡한 분석 쿼리를 지원합니다.
이 접근 방식이 중요한 이유
MongoDB와 데이터 웨어하우스를 함께 사용하면 조직은 다음과 같은 이점을 누릴 수 있습니다.
운영 데이터베이스에 대한 과중한 분석 쿼리 실행 방지
분석 사용량이 증가해도 애플리케이션 성능 유지
팀 전반에서 일관적인 지표 유지
애플리케이션 스키마를 복잡하게 만들지 않고 과거 추세 분석
MongoDB는 운영 워크로드에 최적화되어 있습니다. 대량의 트랜잭션, 유연한 스키마, 실시간 애플리케이션을 지원하는 지연 시간이 짧은 읽기 및 쓰기 작업을 처리하는 데 탁월합니다. 대조적으로 데이터 웨어하우스는 분석 워크로드에 최적화되어 있습니다. 이러한 데이터 웨어하우스는 여러 차원에 걸쳐 대량의 기록 데이터를 스캔하고 집계하도록 설계되었으며, 종종 운영 데이터베이스에서 비효율적이고 방해가 될 수 있는 컴퓨팅 집약적인 쿼리를 사용합니다.
이러한 문제를 분리하면 운영 데이터에 대해 무거운 분석 쿼리를 실행하지 않고, 분석 사용량이 증가함에 따라 애플리케이션 성능을 보존하며, 조직과 팀 전반에서 일관적인 공유 지표를 유지하는 데 도움이 됩니다.
이 아키텍처에서 MongoDB는 현재 운영 데이터의 기본 기록 시스템 역할을 하며, 데이터 웨어하우스는 보고, 추세 분석 및 장기 인사이트를 위해 특별히 구축된 파생 분석 시스템 역할을 합니다.
현대적 통합 패턴
많은 조직에서 커넥터와 레이크하우스 스타일의 아키텍처를 사용하여 운영 데이터와 분석 데이터를 통합하고 있습니다. 예를 들어, MongoDB와 Databricks 같은 플랫폼 간의 통합을 통해 조직은 OLAP 시스템을 사용하여 운영 데이터를 분석하면서도 트랜잭션 워크로드를 분리된 상태로 유지할 수 있습니다.
이러한 패턴은 단일 시스템이 호환되지 않는 워크로드를 강제로 처리하도록 하지 않으면서 분석, 머신 러닝 및 보고 사용 사례를 지원합니다.
데이터 웨어하우스를 도입해야 하는 경우
요청이 적을 때 MongoDB는 운영 워크로드와 함께 기본 분석을 지원할 수 있습니다. 이는 간단한 보고 및 애플리케이션 수준의 인사이트에 적합한 집계 기능과 유연한 스키마를 제공합니다.
그러나 보고가 더 복잡해지고 데이터 볼륨이 증가하며 과거 분석이 중요해짐에 따라 이러한 액세스 패턴은 운영 데이터베이스에 경합하는 요구를 제기합니다. MongoDB가 계속해서 운영 데이터의 기록 시스템 역할을 하는 동안 분석 워크로드를 독립적으로 확장할 수 있도록 하는 것이 실용적인 다음 단계가 됩니다.
데이터 웨어하우스의 한계 및 장단점
데이터 웨어하우스는 강력하지만 한계가 있습니다.
그 한계는 다음과 같습니다.
비용이 많이 드는
적절한 데이터 모델링이 없으면 설계하기 복잡함
채우고 유지 관리하는 데 시간이 많이 소요됩니다
유연성이 떨어짐
데이터 웨어하우스가 적합한 솔루션인지 결정할 때는 이러한 장단점을 이해하는 것이 필수적입니다.
데이터 웨어하우스 계층이란 무엇인가요?
데이터 웨어하우스는 데이터가 처리, 저장 및 액세스되는 방식에 따라 계층으로 구성되는 경우가 많습니다. 이러한 계층은 문제를 구분하고 성능을 향상시키며 비용을 관리하는 데 도움이 됩니다.
일반적인 데이터 웨어하우스 계층
최하위 계층: 데이터 수집 및 저장
이 계층에는 소스 시스템, 수집 파이프라인 및 원시 저장소가 포함됩니다. 데이터는 운영 시스템, 애플리케이션 및 외부 소스에서 수집되어 데이터 웨어하우스 환경으로 로드됩니다. 원시 데이터 또는 간단히 처리된 데이터는 재처리 또는 감사를 위해 보존될 수 있습니다.
중간 계층: 변환 및 모델링
중간 계층은 데이터가 분석을 위해 정리, 변환 및 모델링되는 곳입니다. 비즈니스 규칙이 적용되고, 데이터 품질 검사가 수행되며, 분석 스키마가 생성됩니다. 이 계층은 일관적이고 신뢰할 수 있는 지표를 생성하는 데 중요합니다.
최상위 계층: 분석 및 소비
최상위 계층에는 BI 도구, 대시보드, 분석 플랫폼 및 머신 러닝 워크플로가 포함됩니다. 비즈니스 사용자, 분석가 및 데이터 과학자는 이 계층에서 데이터와 상호 작용하여 추세를 탐색하고 보고서를 생성하며 의사 결정을 지원합니다.
이러한 계층을 분리하면 조직은 운영 시스템을 보호하고 저장소 및 컴퓨팅 비용을 관리하면서 분석을 확장할 수 있습니다.
일반적인 데이터 웨어하우스 변형에는 어떤 것이 있나요?
모든 데이터 웨어하우스가 동일하게 구축되는 것은 아닙니다. 전통적인 온프레미스 데이터 웨어하우스는 향상된 거버넌스, 보안, 데이터 주권, 지연 시간 단축과 같은 장점을 제공하는 하드웨어 기반 저장 솔루션이지만 관리하기 복잡할 수 있습니다. 현대적인 데이터 웨어하우징은 이러한 온프레미스 시스템을 넘어 클라우드 네이티브 및 하이브리드 아키텍처를 지원하도록 발전했습니다.
2025년까지 많은 최신 데이터 웨어하우스가 AI 및 머신 러닝 워크로드를 위해 데이터 레이크의 유연한 저장소와 거버넌스 및 구조를 결합한 레이크하우스로도 기능하게 될 것입니다.
일반적인 데이터 웨어하우스 변형
엔터프라이즈 데이터 웨어하우스(EDW)
엔터프라이즈 데이터 웨어하우스는 조직 전체를 위한 중앙 집중식 분석 플랫폼 역할을 합니다. 부서 간 데이터를 통합하고 보고 및 비즈니스 인텔리전스를 위한 단일 데이터 소스를 제공합니다.
데이터 마트
데이터 마트는 데이터 웨어하우스의 더 작고 특정 주제별 하위 집합입니다. 보통 금융, 마케팅, 영업 분석과 같이 특정 팀 또는 사용 사례를 위해 설계됩니다.
기존 데이터 웨어하우스
기존 데이터 웨어하우스는 일반적으로 온프레미스에 배포되며 상당한 초기 인프라 투자가 필요합니다. 또한 고정된 스키마와 긴 개발 주기에 의존합니다.
클라우드 데이터 웨어하우스
클라우드 데이터 웨어하우스는 저장과 컴퓨팅을 분리하는 완전 관리형 서비스입니다. 이러한 서비스는 탄력적 확장성, 빠른 설정, 사용량 기반 요금제를 제공하므로 현대의 많은 조직에서 기본적으로 선택하는 옵션입니다.
최신 데이터 웨어하우스
현대식 데이터 웨어하우스는 유연성, 데이터 레이크와의 통합, 고급 분석 및 머신 러닝 워크로드 지원을 강조합니다. 이러한 데이터베이스는 운영 데이터베이스를 대체하는 것이 아니라 함께 작동하도록 설계되었습니다.
올바른 변형을 선택하려면 데이터 볼륨, 지연 시간 요구 사항, 거버넌스 요구 사항, 조직의 성숙도를 고려해야 합니다.
데이터 웨어하우스는 다른 데이터 시스템과 어떻게 다른가요?
데이터 웨어하우스가 다른 데이터 시스템과 어떻게 다른지 이해하면 데이터 웨어하우스가 적합한 솔루션인 경우와 그렇지 않은 경우를 명확하게 파악하는 데 도움이 됩니다.
데이터 웨어하우스와 데이터 레이크 비교
차원
데이터 웨어하우스
데이터 레이크
데이터 구조
구조화 및 모델링
원시 및 반정형 데이터
스키마
사용 전 정의됨
쿼리 시점에 정의됨
프라이머리 사용 사례
BI와 분석
탐색 및 실험
거버넌스
강력
유연하지만 강제성이 적음
쿼리 성능
분석에 최적화
처리 계층에 따라 다름
데이터 웨어하우스와 데이터 마트 비교
차원
데이터 웨어하우스
데이터 마트
범위
조직 전체에
부서 또는 사용 사례별
데이터 볼륨
대형
더 작고 엄선된 하위 집합
거버넌스
중앙 집중식
현지화 완료
사용 사례
엔터프라이즈 분석
타겟팅된 보고
데이터 웨어하우스가 적합한 경우
데이터 웨어하우스는 분석, 보고 및 의사 결정을 위해 설계된 특수 시스템입니다. 여러 소스의 데이터를 중앙 집중화하고 일관적인 비즈니스 로직을 적용하며 대규모의 복잡한 분석 쿼리를 지원합니다. 데이터 웨어하우스는 분석 액세스 패턴에 최적화되어 있으며, 이는 효과적인 AI 및 머신 러닝 애플리케이션에 필수적입니다. 깨끗하고 신뢰할 수 있는 데이터를 제공하여 다양한 AI 및 머신 러닝 워크플로를 지원할 수 있어 비즈니스 인텔리전스 및 고급 분석에 필요한 분석 역량을 향상시킵니다.
트랜잭션 데이터베이스를 대체하지는 않습니다. 가장 효과적인 데이터 아키텍처는 OLTP 시스템과 OLAP 시스템을 결합하여 각 시스템이 목적에 맞는 역할을 수행할 수 있도록 합니다.
올바르게 사용하면 데이터 웨어하우스는 비즈니스 인텔리전스 및 데이터 분석을 위한 신뢰할 수 있는 기반이 됩니다. 잘못 사용하면 불필요한 비용과 복잡성이 발생합니다.
자주 묻는 질문
데이터 웨어하우스는 분석, 보고 및 비즈니스 인텔리전스에 사용됩니다. 이는 조직이 여러 시스템에서 과거 및 집계된 데이터를 분석하는 데 도움이 됩니다.
데이터베이스는 트랜잭션 워크로드에 최적화되어 있는 반면, 데이터 웨어하우스는 분석 쿼리에 최적화되어 있습니다. 데이터베이스는 일상적인 작업을 지원합니다. 데이터 웨어하우스는 분석 및 의사결정을 지원합니다.
OLTP 시스템은 삽입 및 업데이트와 같은 실시간 트랜잭션을 처리합니다. 데이터 웨어하우스를 포함한 OLAP 시스템은 대량의 과거 데이터에 대한 복잡한 분석 쿼리를 위해 설계되었습니다.
분석 및 보고가 운영 성과에 영향을 미치기 시작하거나 여러 데이터 소스에서 일관적인 지표가 필요한 경우 데이터 웨어하우스를 사용해야 합니다.
MongoDB는 워크로드가 작을 때는 기본적인 분석을 지원할 수 있지만, 빈번한 쓰기, 지연 시간이 짧은 읽기, 발전하는 스키마와 같은 트랜잭션 액세스 패턴에 최적화되어 있습니다. 분석이 복잡해지고 데이터 볼륨이 증가함에 따라, 스캔 중심의 과거 쿼리는 데이터 웨어하우스에서 더 잘 처리되며 MongoDB는 운영 기록 시스템으로 유지하면서 분석을 독립적으로 확장할 수 있습니다.
네. 데이터 웨어하우스는 대량의 과거 데이터를 저장하고, 계산 집약적인 분석 쿼리를 실행하고, 검사, 변환 및 거버넌스 파이프라인을 관리해야 하므로 기본적으로 구축 및 운영 비용이 많이 듭니다. 분석 및 BI에 사용할 경우, 도구, 인프라 및 지속적인 운영 노력은 상당하고 지속적인 비용을 발생시킵니다.