이 레퍼런스 아키텍처는 고립된 운영 데이터를 통합하고 다운스트림 운영, 분석 및 AI 워크로드를 지원하기 위해 MongoDB Atlas에서 운영 데이터 계층(ODL)을 구현하는 방법을 설명합니다.
ODL은 기존 기록 시스템의 데이터를 중앙 집중식의 쿼리 가능한 계층으로 통합하고 구성하는 아키텍처 패턴입니다. 이는 현대적인 애플리케이션 및 데이터 제품을 레거시 플랫폼과 분리하여 해당 시스템을 완전히 교체할 필요 없이 싱글 뷰, DaaS(Data-as-a-Service) 및 AI/에이전틱 AI 사용 사례와 같은 이니셔티브를 가능하게 합니다. MongoDB Atlas는 ODL을 위한 핵심 데이터 플랫폼을 제공하며 단일 서비스 내에서 유연한 문서 모델을 트랜잭션, 검색, 분석 및 벡터 기능과 결합합니다.
ODL 구현 수준
읽기 전용: 소스 시스템의 쿼리 부하를 줄이기 위한 고성능 읽기 복제본 역할을 하며 운영 데이터에 대해 안정적인 API를 제공합니다.
풍부화: 업스트림 시스템을 수정하지 않고 소스 데이터를 메타데이터 및 외부 데이터 세트와 결합하여 분석 및 AI를 위한 맥락적 뷰를 제공합니다.
읽기-쓰기: 비즈니스 워크플로의 일부로 쓰기 작업을 허용하여 운영을 현대화하고 레거시 기록 시스템에 대한 의존도를 점진적으로 줄입니다.
그림 1. MongoDB를 사용한 운영 데이터 계층의 구현 수준
참고
다음 도표는 개방형 데이터 계층(ODL)을 구현할 수 있는 다양한 단계를 보여줍니다. 이 도표는 개념적 이해를 돕기 위한 것이며 이 솔루션의 참조 아키텍처로 설계된 것은 아닙니다.
다이어그램
그림 2. 운영 데이터 계층 참조 아키텍처
데이터 흐름
소스 시스템
엔터프라이즈 애플리케이션, 운영 데이터베이스, 타사 API 및 레거시 플랫폼은 기록 시스템 역할을 합니다. 이 시스템들은 비즈니스 트랜잭션과 이벤트를 캡처하며 실시간 및 맥락화된 액세스를 위해 이를 ODL로 동기화합니다.
- 일반적인 소스 시스템으로는 메인프레임, CRM, ERP, 주문 관리, 공급망 관리, 인적 자원 관리(HR), 빌링, 마케팅 자동화, 웹사이트, 소셜 미디어, 참조 데이터, 타사 API, 로그, Time Series 데이터 등이 있습니다.
수집 계층
데이터는 배치 추출-변환-로드(ETL)/추출-로드-변환(ELT) 작업과 실시간 스트리밍 또는 변경 데이터 캡처(CDC)를 통해 소스 시스템에서 MongoDB Atlas로 이동합니다. 지연 시간 및 처리량 요구 사항에 따라 이벤트를 로드, 변환 및 라우팅하려면 mongoimport, Bulk Write APIs, ETL 플랫폼, MongoDB Kafka Connector, Atlas Stream Processing과 같은 도구를 사용하세요.
운영 데이터 계층(MongoDB Atlas)
MongoDB Atlas 클러스터는 구조화, 반구조화 및 비구조화 데이터를 문서 데이터 모델로 통합하며 단일 쿼리 API를 통해 트랜잭션 처리, 실시간 분석, 전체 텍스트 검색, 벡터 검색과 같은 하이브리드 워크로드를 지원합니다. ODL은 클라우드에서 실행되며 샤딩과 복제본 세트를 통해 수평적으로 확장됩니다.
처리/제공 계층
API 게이트웨이는 엣지에 위치하여 인증, 속도 제한 및 외부 액세스를 관리합니다. 서비스 메시는 서비스 간 통신을 관리하며 데이터 프록시 계층은 연결 풀링, 캐싱 및 정책 적용을 수행하는 동시에 워크로드 유형에 따라 쿼리를 라우팅합니다. MongoDB Change Streams 및 Atlas Stream Processing은 폴링 없이 데이터 변경 사항을 다운스트림 소비자에게 전달할 수 있습니다.
예외, 주의 사항 및 장단점
MongoDB Atlas에서 고성능 ODL을 유지하려면 복잡성과 아키텍처 목표의 균형을 맞춰야 합니다.
워크로드 격리 — OLTP, 온라인 분석 처리(OLAP) 및 AI: 프라이머리 노드에서 분석 또는 AI 워크로드를 직접 실행하면 트랜잭션 성능이 저하됩니다. 이를 방지하려면
secondaryPreferred읽기 기능이 있는 복제본 세트, 샤딩된 클러스터, 전용 검색 및 벡터 인덱스를 사용하여 각 워크로드 유형을 격리하세요. 이를 통해 온라인 트랜잭션 처리(OLTP), 분석, 검색 증강 생성(RAG)/AI 쿼리가 동일한 리소스를 두고 경합하지 않도록 보장할 수 있습니다.지연 시간과 수집 비용 비교: ODL은 지연 시간이 짧은 쿼리를 처리할 수 있지만 데이터 최신성은 데이터를 수집하는 방법에 따라 달라집니다. 배치 ETL/ELT, CDC 및 실시간 스트리밍(예: MongoDB Kafka 커넥터 및 Atlas Stream Processing을 통한 스트리밍)은 각각 다른 운영 및 비용 프로필을 가집니다. 실시간에 가까운 업데이트가 반드시 필요한 사용 사례를 위해 상시 스트리밍 기능을 할당하세요.
스키마 진화 및 문서 증가: MongoDB의 유연한 document model 빠른 스키마 진화를 지원하지만 여전히 엄격한 설계가 필요합니다. 기존 스키마 설계 패턴과 임베딩 대 참조 지침 적용하여 특히 고도로 강화된 ODL에서 문서 팽창, 깊게 중첩된 구조, 팀 간 호환되지 않는 스키마 드리프트를 방지합니다.
ODL이 적합한 경우: ODL은 단편화된 운영 데이터를 통합하는 데 가장 적합하며 순수 분석 플랫폼을 대체하려는 목적이 아닙니다. ODL이 핵심 SoR(기록 시스템)을 직접 교체하도록 설계된 것은 아니지만 시간이 흐름에 따라 기존 레거시 기록 시스템을 궁극적으로 대체하는 다단계 마이그레이션 전략의 첫 단계로 활용할 수 있습니다.
구현 가이드
데이터 수집 및 모델링 설계
컬렉션 설계: MongoDB 스키마 설계 패턴을 활용합니다. 자주 함께 읽는 데이터는 임베딩하고 대규모 또는 독립적인 엔티티는 참조하여 중복을 줄이고 문서를 관리하기 쉬운 상태로 유지하세요.
배치 수집:
mongoimport, 대량 쓰기 API, Atlas Data Federation 구체화 또는 ETL 도구를 사용하여 소스 시스템에서 예약된 내보내기를 로드합니다.ETL/ELT: MongoDB Spark Connector와 오케스트레이션 도구를 사용하여 데이터를 추출한 다음 로드하기 전에 변환(ETL)하거나 원시 데이터를 Atlas에 로드하고 집계 파이프라인으로 변환(ELT)합니다.
실시간 수집: 이벤트 중심 파이프라인을 위해 MongoDB Kafka Connector 및 Atlas Stream Processing을 사용하여 CDC 스트림 또는 토픽 이벤트를 캡처하고 최소한의 지연 시간으로 Atlas에 기록하세요.
쿼리 라우팅 구성
OLTP: 트랜잭션 읽기 및 쓰기를 프라이머리 노드로 라우팅하여 핵심 비즈니스 흐름의 일관성과 낮은 지연 시간 작업을 보장합니다.
OLAP/BI: 'secondaryPreferred'를 사용하여 분석 및 보고 워크로드를 세컨더리 노드로 라우팅합니다. 운영 워크로드에 영향을 주지 않도록 이력 데이터 또는 콜드 데이터에 대한 Atlas Data Federation 또는 구체화된 뷰 사용을 고려하세요.
AI/RAG: 운영 데이터와 함께 저장된 임베딩에 대한 시맨틱 및 하이브리드 검색을 위해 MongoDB Vector Search를 사용하고 집계 파이프라인을 통해 결과를 메타데이터와 결합하여 에이전틱 및 LLM 기반 애플리케이션을 제공합니다.
보안 및 데이터 신뢰 구축
전송 중 및 저장 시 암호화: 모든 외부 액세스 포인트에 TLS를 적용하고 Atlas의 내장 암호화 기능을 사용하여 데이터 보호 요구 사항을 충족합니다.
ID 및 액세스 관리: OpenID Connect(OIDC) 및 OAuth 2.0과 같은 업계 표준 프로토콜을 구현하여 인증을 처리하고 역할 기반 클레임을 포함하는 표준화된 토큰(예: JSON Web Token)을 발급합니다. API 및 서비스 계층 모두에서 세분화된 정책 기반 액세스 제어를 시행하고 보안 로직을 애플리케이션 코드와 분리할 수 있도록 분리된 권한 부여 패턴을 활용하세요.
시크릿 중앙화: OIDC와 OAuth 2.0이 사용자 및 서비스 ID를 처리하지만 ODL은 여전히 토큰 수명 주기 외부에 존재하는 자격 증명과 키에 의존합니다. 여기에는 데이터베이스 연결 자격 증명, OAuth 클라이언트 시크릿, TLS 인증서 및 암호화 키가 포함됩니다. 볼트 서비스, HSM 기반 키 관리자 또는 클라우드 제공업체 네이티브 시크릿 저장소와 같은 전용 시크릿 관리 솔루션을 사용하여 이를 저장하고 주기적으로 교체하세요. 그런 다음 시크릿을 설정 파일에 내장하는 대신 런타임에 주입합니다.
감사 및 거버넌스: ODL을 데이터 마스킹, 집계 및 액세스 정책의 시행 지점으로 사용하여 도메인 전반에 걸쳐 거버넌스를 일관되게 적용하는 동시에, 생산자와 소비자의 분리된 상태를 유지하세요.
자세히 알아보기
다양한 산업에서 ODL을 구현하는 방법을 살펴보세요.
금융 서비스: 에이전틱 AI 기반 투자 포트폴리오 관리
소매: 통합 커머스 솔루션
운영 데이터 계층에 관한 상세 정보는 운영 데이터 계층 백서에서 확인해 보세요.