이 가이드에서는 필수 워크플로에 대한 특정 절차를 포함하여 Atlas Stream Processing을 관리하기 위한 권장사항을 설명합니다.
Networking
각 스트림 프로세서는 데이터 소스 및 싱크에 대한 ` 연결 `을 사용합니다. Atlas Stream Processing은 TLS/SSL을 사용하여 전송 중인 모든 데이터를 암호화합니다. 하지만 기본 연결은 여전히 공개 인터넷을 통해 데이터를 전송합니다. Atlas Stream Processing의 최적 성능 및 보안을 달성하려면, 이 섹션에 설명된 방법을 고려하세요.
피어링 및 경로 테이블
Atlas Stream Processing과 자체 관리형 Apache Kafka 클러스터 또는 비공개 API와 같은 비공개 외부 시스템 간의 안전한 통신을 보장하려면 VPC 또는 VNet 피어링 연결을 사용하세요. 이러한 연결은 공용 인터넷에 데이터가 노출되지 않도록 보호합니다. 피어링 연결을 설정하는 것 외에도 애플리케이션의 VPC에 대한 경로 테이블을 명시적으로 구성하여 트래픽을 Atlas VPC CIDR 블록으로 전달해야 합니다. 경로 테이블 구성 방법에 대한 자세한 내용은 외부 제공자의 VPC 설명서를 참조하세요.
Atlas 프로젝트 간 연결
동일한 조직 내에서 다른 Atlas 프로젝트 간에 스트리밍 데이터를 루팅하려면, Atlas Stream Processing은 Cross Project Connections를 지원합니다. 프로젝트 간 연결은 클러스터를 사설 인터넷에 노출하지 않고 데이터를 전송합니다. 이로써 VPC 피어링을 수동으로 구성할 필요 없이 개인 정보 보호가 보장됩니다.
암호 없는 Amazon Web Services 인증
Atlas Stream Processing은 다음과 같은 AWS 통합을 지원합니다.
S3
Kinesis 데이터 스트림
Lambda(
$externalFunction으로)
이러한 강 통합은 통합된 Amazon Web Services 액세스와 호환됩니다. 통합 액세스를 구성하면 MongoDB에 정적 액세스 ID 또는 시크릿 자격 증명을 저장할 필요성이 제거됩니다. 이는 모든 AWS 통합에 권장되는 인증 모델입니다.
Kafka OIDC
Atlas Stream Processing은 Apache Kafka 브로커에 대한 인증을 지원하며, OIDC와 JSON Web Tokens를 사용합니다. 하지만 이 기능은 현재 공용 네트워크를 통해 연결할 수 있는 자격 증명 공급자만 지원합니다. 이 기능은 고객의 VPC 내 자격 증명 공급자에게는 지원되지 않습니다.
내결함성
Atlas Stream Processing은 체크포인트, 데드 레터 큐, 페일오버 프로세서를 포함하여 일반적인 장애 시나리오에서 안정적이고 강력한 서비스를 보장하기 위한 다양한 메커니즘을 제공합니다.
Atlas Stream Processing은 30초 간격의 하트비트를 사용하여 스트림 프로세서 상태를 모니터링합니다. 스트림 프로세서가 30 초 이상 하트비트를 보내지 못하면 Atlas Stream Processing이 프로세서를 자동으로 다시 시작합니다.
Atlas Stream Processing은 Amazon Web Services Kinesis와 같은 샤딩된 통합을 위해 토폴로지 변경을 자동으로 관리합니다.
데드 레터 큐
Atlas Stream Processing을 구성하여 처리되지 않은 데이터를 데드 레터 큐(DLQ)로 라우팅할 수 있습니다. 그런 다음 DLQ에서 처리되지 않은 기록을 확인하여 처리 실패를 해결할 수 있습니다.
DLQ는 문서별 처리 실패만 캡처합니다. 다른 오류는 프로세서가 실행되지 않도록 하며 DLQ 기록을 생성하지 않습니다. 이러한 오류에는 잘못된 파이프라인 구문이나 구성, Atlas Stream Processing 시스템 내의 오류가 포함됩니다. 이러한 오류의 경우 Atlas Stream Processing은 해당 오류 처리 및 재시도 정책을 적용합니다.
문서 처리에 실패하고 스트림 프로세서에 구성된 DLQ가 없는 경우 Atlas Stream Processing은 해당 문서를 제거합니다. stats.dlqMessageCount와 같은 DLQ 통계는 여전히 실패를 기록합니다. 프로세서를 sp.processor.sample()로 샘플링하면 실패한 문서도 샘플 결과에 계속 표시됩니다.
일부 파이프라인 단계는 자체 오류 처리 동작을 정의하여 실패한 문서가 DLQ에 도달하는지 여부를 결정합니다.
단계 | 필드 | 오류 처리 동작 |
|---|---|---|
|
| |
|
| |
|
|
DLQ을 검토할 때 다음과 같은 일반적인 처리 오류를 확인하세요.
페이로드 파싱
들어오는 기록의 형식이 잘못되어 구문 분석에 실패했습니다. 이는 대개 유효하지 않은 JSON으로 인해 발생합니다.
표현식 평가
처리 파이프라인의 표현식이 제대로 평가되지 않습니다.
예시
당신의 파이프라인에는 Kafka 기록을 삭제하기 위한
$emit.config.tombstoneWhen구성 필드가 포함되어 있습니다. 그리고 주어진 문서에는 평가할 필드가 누락되어 있습니다.크기 제한
발신 기록이 대상 싱크의 크기 제한을 초과합니다. 예를 들어 Amazon Web Services Kinesis의
1 MB등.키 생성
싱크에 대한 파티션 키를 생성할 때 프로세서에서 오류가 발생합니다.
각 DLQ 기록에는 실패한 문서와 실패 세부 정보가 포함됩니다. 전체 DLQ 문서 스키마는 모니터링 가이드를 참조하세요.
처리 실패의 원인을 분석한 후, 데이터가 Atlas Stream Processing 파이프라인에 입력되기 전에 업스트림 데이터 소스를 수정하여 데이터를 수정하거나, 엣지 케이스를 처리하도록 파이프라인을 수정하세요.
Atlas Stream Processing 구성을 수정하는 데 사용한 후 DLQ의 기록에 대한 다음 수정 옵션을 고려하십시오.
폐기
기록이 심하게 손상되었거나 관련이 없는 경우(예를 들어, 매우 시간에 민감한 시스템의 매우 늦은 데이터인 경우) 컬렉션에서 삭제.
수동 수정
JSON 오류가 경미하거나 미션 크리티컬한 기록의 경우, 필드를 수동으로 조정하고 대상 싱크에 직접 삽입하세요.
자동화된 재처리:
복구 가능하고 관련성 높은 대량의 데이터의 경우, DLQ에서 읽고 알려진 실패 조건에 대해 변환을 적용한 다음 정리된 데이터를 대상 싱크로 라우팅하는 세컨더리 스크립트 또는 추가 스트림 프로세서를 생성합니다.
장애 조치
Atlas Stream Processing은 리전 전체의 시스템 장애 발생 시 서비스 중단을 방지하기 위해 페일오버 프로세서를 제공합니다.
페일오버 구성의 원칙
다음 원칙은 Atlas Stream Processing 워크로드를 보호하기 위한 강력한 페일오버 구성을 정의합니다.
Atlas 클러스터를 다중 리전에서 배포합니다.
리전 페일오버 이벤트 시 스트림 프로세서의 지속적인 운영을 보장하려면, 스트림 프로세서가 연결되는 모든 Atlas 클러스터에 대해 멀티 리전 클러스터를 사용하세요. Atlas Stream Processing은 단일 리전 클러스터의 페일오버를 차단하지 않습니다. 하지만 이 원칙은 프라이머리 리전이 중단되어도 소스 또는 싱크 연결이 활성 상태를 유지하도록 보장합니다.
Atlas Stream Processing 작업 공간을 각 리전별 생성합니다.
멀티 리전 클러스터를 배포한 후, 각 리전별 워크스페이스를 만들어 주세요. 이 원칙은 스트림 프로세서와 이를 지원하는 Atlas 데이터베이스 간의 연결 지연 시간을 최소화합니다.
연결 고유 재해 복구 구성
스트림 프로세서의 서비스가 중단 없이 지속되도록 하려면, 이가 의지하는 모든 외부 제공자도 페일오버가 활성화되어 있어야 합니다. 각 외부 제공자 소스 또는 싱크가 해당 문서에 따라 정상적으로 구성되어 있는지 확인하세요.
예시
스트림 프로세서가 Kafka 클러스터를 소스 또는 싱크로 사용하는 경우, Atlas Stream Processing이 소비자 그룹 오프셋에서 처리를 재개할 수 있도록 소비자 오프셋 보존을 위해 클러스터를 구성하세요.
정기적인 드라이 런을 수행하세요.
주기적으로 페일오버 모의 실행을 수행하여 페일오버 구성을 확인하세요. 이러한 모의 실행은 구성이 네트워크에 연결되고 체크포인트를 올바르게 로드하는지 확인하는 동시에, 필요할 때 더 쉽게 수행할 수 있도록 페일오버 워크플로를 훈련하는 역할을 합니다. 정기적으로 페일오버 모의 실행을 수행하고 페일오버 구성을 변경할 때마다 모의 실행을 수행하는 것을 고려하세요.
Stream Processor 페일오버 설정
권장사항이 적용되었는지 확인한 후, 스트림 프로세서를 생성하고 페일오버 구성을 확인합니다.
Atlas Stream Processing은 다음 구성이 있는 프로세서에 대해서만 자동화된 지역 페일오버를 지원합니다.
Atlas 소스 및 싱크
Atlas 소스와 Apache Kafka 싱크
자동 페일오버에 대한 자세한 내용은 페일오버 프로세서를 참조하세요.
그러나 소스 및 싱크 연결의 어떤 조합에 대해 수동 페일오버를 지원하는 Atlas Stream Processing 아키텍처를 구성할 수 있습니다.
강제 페일오버 시작
워크스페이스 또는 스트림 프로세서 수준에서 강제 페일오버를 시작할 수 있습니다.
Stream Processing 작업 영역 페일오버를 시작하려면 Stream Processing 작업 영역 페일오버 trigger에 설명된 절차를 따르십시오.
개별 스트림 프로세서 페일오버를 시작하려면 하나의 스트림 프로세서에 대한 페일오버 시작에 설명된 절차를 따르십시오.
페일오버 이벤트에 대응
지역 서비스 장애 이벤트가 발생하는 경우:
서비스 장애를 확인합니다.
서비스 장애 징후가 나타나면 선호하는 상태 보고서를 검토하여 이벤트를 확인하세요. 이 정보는 MongoDB Cloud Status 페이지 또는 클라우드 공급자의 상태 페이지에서 확인할 수 있습니다. Atlas Stream Processing 경고를 구성할 수 있습니다. 장애 이벤트의 타임스탬프를 기록해 두세요.
페일오버 프로세서 시작.
하나의 스트림 프로세서에 대한 페일오버 시작에 설명된 절차를 따르십시오. 서비스가 마지막으로 소비된 스트림 이벤트에서 다시 시작되도록 하려면 이전에 메모한 타임스탬프를 startAtOperationTime 매개변수로 전달합니다.
Apache Kafka 소스를 사용하는 프로세서는 소비자 그룹 오프셋에 따라 재개됩니다.
서비스가 재개되는지 확인합니다.
페일오버가 완료되면 워크스페이스의 프라이머리 리전 상태를 주기적으로 확인하세요. 이 정보는 MongoDB Cloud Status 페이지 또는 클라우드 공급자의 상태 페이지에서 확인할 수 있습니다. Atlas Stream Processing 경고도 구성할 수 있습니다. 자동 프라이머리 프로세서 억제를 사용하는 경우, 프라이머리 프로세서가 자동으로 다시 시작되는 것을 감지할 때 알림을 반환하도록 스크립트를 구성할 수 있습니다.
프라이머리 프로세서를 다시 시작합니다.
프라이머리 리전에서 스트림 프로세서를 다시 시작합니다. 서비스가 마지막으로 소비된 스트림 이벤트에서 재개되도록 하려면, 이전에 메모한 타임스탬프를 startAtOperationTime 매개변수로 전달합니다.
Apache Kafka 소스를 사용하는 프로세서는 소비자 그룹 오프셋에 따라 재개됩니다.
페일오버 행동
시스템을 지역 페일오버 또는 수동 페일오버를 트리거하도록 구성할 때 다음 사항을 고려하십시오.
리전 페일오버가 발생하면 Atlas Stream Processing은 페일오버 리전의 비활성 페일오버 프로세서를 활성 프로세서로 승격합니다. 이 프로세서는 마지막으로 사용 가능한 체크포인트에서 Stream Processing을 계속합니다.
Atlas Stream Processing 체크포인트는 최대 10 분 전까지 보장됩니다. 하지만 페일오버 프로세서는 시작 시 마지막 체크포인트 이후 프라이머리 프로세서가 처리한 모든 데이터를 다시 처리합니다. 페일오버는 최소 1회 처리 의미 체계를 보장합니다.
리전 페일오버 이벤트 중에 페일오버 프로세서가 시작되지 않더라도 활성 프로세서의 역할을 계속 수행합니다. 그런 다음 기본 원인을 해결하고 페일오버 리전에서 정상적으로 프로세서를 다시 시작할 수 있습니다.
관찰 가능성
Atlas Stream Processing은 워크스페이스, 연결 및 프로세서의 성능과 상태를 평가할 수 있는 다양한 관찰 가능성 도구를 제공합니다. 또한 지역별 서비스 상태와 장애를 추적하려면 MongoDB 클라우드 Status 페이지를 방문하면 됩니다.
Atlas Stream Processing 확장
Atlas Stream Processing은 스트림 프로세서당 리소스를 프로비저닝합니다. 자세한 내용은 계층 선택 가이드를 참조하세요.
Atlas 클러스터에서 작동하는 Atlas Stream Processing 프로세서의 경우, 파이프라인 I/O 요구 사항에 비례하여 프로세서와 클러스터를 모두 확장해야 합니다. 특히 대량의 $lookup 또는 $merge 작업을 수행하는 프로세서를 클러스터 업스케일링 후보로 평가하십시오.
변경 스트림 고려 사항
Atlas Stream Processing은 Atlas 클러스터 $source를 사용하여 변경 스트림 이벤트를 소비할 수 있습니다. 이러한 스트림 프로세서의 최적의 성능과 안정성을 보장하려면 다음 고려 사항을 검토하십시오.
oplog window 크기
스트림 프로세서는
$source클러스터의 oplog를 활용하여 중단 후 서비스를 재개합니다. 프로세서가 oplog 보존 기간보다 긴 시간 동안 중단되면 resume token이 잘린 데이터를 가리켜ChangeStreamHistoryLost오류가 발생할 수 있습니다.Stream Processing 시스템의 허용 가능한 가동 중지 시간에 맞춰 oplog 크기를 조정하여 이러한 위험을 완화하세요.
재개 옵션
Atlas Stream Processing은 변경 스트림
$source``s from either the last stored checkpoint with ``resumeFromCheckpoint또는startAtOperationTime로 특정 시간에 다시 시작하는 것을 지원합니다. 처리된 데이터의 간격이나 중복을 피하려면 특정 시나리오에서 어떤 재개 옵션을 사용할지에 대한 표준화된 정책을 정의합니다.백로그 수집
대규모 네임스페이스에서 작동하는 스트림 프로세서는 초기 동안 긴 시간 다라잡기 처리를 경험할 수 있습니다. 스트림 프로세서의 네임스페이스 범위를 줄이거나 또는 더 최신 시작점을 선택하여 초기 동기화 기간을 줄이세요.
Change Stream Images
감사, 보상 트랜잭션 및 실행 취소 작업에는 사전 처리 문서 상태에 대한 액세스가 필요합니다. Atlas를 소스로 사용할 때 이러한 작업을 지원하려면 문서 사전 및 게시 이미지를 활성화하세요. 문서 사전 또는 사후 이미지에 대한 지원을 출시할 때 시스템 전반의 커버리지와 안정성을 확인하세요.
``$replaceRoot`` 단계
변경 스트림 소스는 영향을 받은 문서의 내용과 운영 메타데이터를 함께 제공하는 문서를 반환합니다. 이러한 문서를 싱크에 쓰려면 소비자는 소스 문서의 비즈니스 로직 대신 변경 이벤트 스키마와 작업해야 합니다. 메타데이터가 필요하지 않은 경우,
$replaceRoot단계를 사용하여 원본 컨텐츠 서브 문서를 승격시킨 후 추가 처리하세요.조인 지향 파이프라인
Atlas Stream Processing은 스트리밍 데이터의 조인과 유사한 보강을 가능하게 하는
$lookup단계를 지원합니다. 이러한 작업은 처리 지연 시간을 증가시킬 수 있습니다. Atlas Stream Processing 파이프라인을 싱크에 쓰기 전에 수행해야 하는$lookup작업으로만 제한하고, 더 복잡한 강화는 사전 계산된 보기에 보류하는 것을 고려하세요.오래된 체크포인트
체크포인트에는 이벤트 기록만 포함되며, 처리 논리는 포함되지 않습니다. 체크포인트에서 작업을 다시 시작하면 스트림 프로세서가 현재 파이프라인의 로직을 이전 이벤트에 적용합니다. 이로 인해 기존 다운스트림 상태와 새 출력 간에 불일치가 발생할 수 있습니다. 처리 의미 체계가 크게 다른 경우 체크포인트에서 다시 시작하는 것보다 새 스트림 프로세서를 도입하는 것을 고려하십시오.
다시 시작 계획
재시작 중, 스트림 프로세서는 새 이벤트의 처리량 감소를 경험할 수 있을 수 있습니다. 시스템 복원력을 높이기 위해 일시적으로 줄어든 용량에 대비하기 위해 재시작을 예정합니다.
페일오버 계획
리전 간 스트림 프로세서 체크포인트 공유, 안전한 재개 지점 선택 및 출력 일관성 검증에 대한 표준 절차를 개발하여 리전 페일오버 이벤트로 인해 데이터 품질 문제가 발생하지 않도록 합니다.