Atlas Stream Processing

스트리밍 데이터는 다양한 소스에서 지속적으로 생성됩니다. IoT 센서, 마이크로서비스, 모바일 디바이스는 모두 대용량 데이터 스트림의 일반적인 소스입니다. 스트리밍 데이터의 연속적인 특성과 불변성으로 인해 데이터베이스에 저장된 정적 데이터와 구별됩니다.

스트림 처리는 이벤트 메시징 플랫폼(예: Apache Kafka)에서 이벤트 데이터를 지속적으로 수집하고 변환하여 다양한 기능을 수행합니다. 여기에는 불필요한 데이터를 제거하는 간단한 필터를 만들고, 필요에 따라 데이터를 계산하거나 합산하는 집계를 수행하고, 스테이트풀 윈도우를 만드는 것이 포함됩니다.스트림 처리는 이벤트 기반 애플리케이션에서 차별화된 특성이 될 수 있으며, 이를 통해 보다 반응적이고 응답성이 뛰어난 고객 경험을 제공할 수 있습니다.

스트리밍 데이터는 이벤트 스트리밍 플랫폼(예: Apache Kafka) 내부에 있으며 이러한 시스템은 본질적으로 변경할 수 없는 분산 로그입니다. 이벤트 데이터는 API를 사용하여 이벤트 스트리밍 플랫폼에서 게시되고 사용됩니다.

개발자는 스트림 프로세서를 사용하여 상태 저장 집계, 창 작업, 변형 및 구체화된 뷰 만들기와 같은 고급 처리를 수행해야 합니다. 이는 데이터베이스에서 쿼리를 실행할 때 수행하는 작업과 유사하지만 스트림 처리가 끝없는 데이터 스트림을 지속적으로 쿼리한다는 점이 다릅니다. 이 스트리밍 분야에서는 Apache Flink와 Spark Streaming과 같은 솔루션이 빠르게 주목을 받고 있는 신흥 기술입니다.

Atlas Stream Processing을 통해 MongoDB는 개발자에게 집계 프레임워크를 활용하는 동시에, 애플리케이션에서 사용할 스트림을 처리하는 더 나은 방법을 제공합니다.

스트림 처리는 응답성이 뛰어난 이벤트 기반 애플리케이션을 빌드하는 데 있어서 핵심적인 구성 요소입니다. 당사에서는 MongoDB Atlas에 스트림 처리 기능을 네이티브 기능으로 추가함으로써, 더 많은 개발자가 당사의 멀티 클라우드 개발자 데이터 플랫폼을 활용하여 혁신적인 애플리케이션을 구축할 수 있도록 지원하고 있습니다.

스트림 처리는 지속적으로 이루어집니다. 이벤트 기반 애플리케이션을 구축할 때 스트림 처리는 실시간 알림, 개인화, 경로 계획, 예측 유지 관리와 같은 매력적인 반응형 경험을 가능하게 합니다.

배치 처리는 지속적으로 생성되는 데이터에는 작동하지 않습니다. 대신 배치 처리는 지정된 기간 동안 데이터를 수집한 다음 필요에 따라 해당 정적 데이터를 처리하는 방식으로 작동합니다. 배치 처리의 예로는 보고 목적 또는 재고 수준 업데이트를 위해 매일 영업이 종료될 때 매출을 수집하는 소매업을 들 수 있습니다.

Atlas Stream Processing은 연속적인 데이터 스트림을 처리하기 위한 단계를 추가하여 집계 파이프라인을 확장합니다. 이러한 단계는 기본 mongod 프로세스에 내장된 기존 집계 단계와 결합되므로, 개발자는 미사용 데이터에서 수행할 수 있는 것과 동일한 여러 작업을 연속형 데이터에 대해서도 수행할 수 있습니다.

네. Atlas Stream Processing은 스트림 프로세서의 마지막 연산자가 완료되면 체크포인트 문서를 사용하여 스트림 프로세서의 상태를 캡처합니다. 이는 장애 발생 후 데이터를 대규모로 재처리할 필요 없이 프로세서를 재시작할 수 있는 중요한 기능입니다.

Atlas Stream Processing은 MongoDB Query API에서 $validate 연산자를 지원합니다. 이 연산자를 사용하면 개발자는 데이터 값과 유형이 스키마에 부합하는지 확인할 수 있으며, 유효성 검사 기준을 충족하지 못할 경우 선택적으로 데이터를 데드 레터 큐(DLQ)로 라우팅할 수 있습니다.

2024년 8월부터 Atlas Stream Processing은 미국, 유럽, 아시아 태평양 지역에서 AWS를 지원합니다. 다른 클라우드 공급자 및 지역에 대한 지원도 곧 제공될 예정입니다.