Atlas Stream Processing 계층 선택 가이드

초기화 급증

스트림 프로세서는 일반 작업보다 초기 실행 중에 더 많은 리소스가 필요할 수 있습니다. 예시 를 들어 프로세서가 대규모 Atlas 컬렉션 대해 $initialSync 를 수행하는 경우 해당 프로세서는 동기화 기간 동안 많은 I/O 및 계산을 지원 해야 합니다.

이러한 증가된 수요를 흡수하려면 일시적으로 상위 계층 선택하고 동기화가 완료되고 프로세서가 새로운 변경 스트림 이벤트만 사용하도록 전환되면 프로세서를 축소 확장하다 .

파이프라인 로직

집계 파이프라인 로직은 CPU 및 RAM 소비의 프라이머리 운전자 입니다.

• Windows: 오래 지속되는 창은 이동 중에 보관하기 위해 더 많은 RAM 사용합니다.

  문서.

• 사용자 지정 로직: Javascript $function 단계 또는 복잡한 그룹화

  로직은 각 메시지의 계산 요구 사항을 증가시킵니다.

• 복합 복잡성: 상태 저장 또는 계산적으로 복잡한 추가 단계

  리소스 수요에 더 많은 잠재적 변동이 발생합니다. 잉여 용량 유지하면 사용량이 급증하는 동안에도 일관적인 처리량 보장됩니다.

인프라

각 네트워크 또는 저장 문의 점 스트림 프로세서의 오버헤드 증가시킵니다.

• 소스 또는 싱크 밀도: 병렬화된 읽기 또는 쓰기

  소스 또는 싱크(예: 파티션이 있는 Apache Kafka 주제)는 I/O 요구 사항을 증가시킵니다.

• 데이터 강화: $lookup 및 $https 단계, 및 작업

  스트림 의 데이터를 보강하기 위해 Atlas 컬렉션을 사용하려면 네트워크 대역폭과 연결 풀링 필요합니다.

• 조정: 많은 소스를 조정하는 복잡한 배포에서

  스트림 프로세서는 이러한 각 노드 간에 데이터 흐름을 라우팅하는 허브 제공 을 할 수 있습니다. 이러한 프로세서는 SP30 SP50 계층의 처리량이 더 높은 처리량 누릴 수 있습니다.

반대로 처리량이 많은 스트림 처리 워크로드는 연결된 리소스에 대한 수요를 증가시킬 수 있습니다.

• Atlas 에 미치는 영향 : 스트림 의 대용량 병렬 I/O

  프로세서는 소스 또는 싱크 Atlas 클러스터의 읽기 또는 쓰기 (write) 용량 초과할 수 있습니다. 이는 프로세서의 지연 시간 증가시킬 뿐만 아니라 해당 클러스터에 의존하는 다른 워크로드에 병목 현상을 일으킬 수 있습니다.

  시스템 전체의 성능을 보장하려면 상호 작용 하는 프로세서에 비례하여 Atlas cluster를 확장하다 .

성능 및 지연 시간

처리 로직이 간단한 경우에도 성능 목표를 달성하려면 더 높은 계층의 프로세서가 필요할 수 있습니다.

• 높은 처리량: 상위 계층 프로세서가 스트림을 더 잘 지원

  빠른 속도로 이벤트를 생성합니다.

• 짧은 지연 시간 SLA: 상위 계층 프로세서가 제공하는 높은 병렬 처리는 속도가 중요할 때 이벤트가 대기열에 누적되지 않도록 하는 데 도움이 됩니다. 특히 SP50 프로세서는 SP30 프로세서보다 4배 더 많은 스레드를 제공합니다.

• 데이터 인리치먼트 및 캐싱: 을(를) 사용하여 인리치먼트하는 경우 $cachedLookup

  정적 또는 느리게 변화하는 참조 데이터가 많은 스트림은 캐싱에 필요한 RAM 제공하기 위해 상위 계층 프로세서를 선호합니다.

• 복합 싱크: 특정 싱크는 더 비쌉니다.

  변환, 트랜잭션 및 파일 관리 오버헤드. 이러한 싱크와 상호 작용 프로세서의 경우 계층이 높을수록 일관적인 성능과 지연 시간 보장하는 데 도움이 됩니다.