Atlas Stream Processing에는 다음과 같은 제한 사항이 적용됩니다.
Atlas Stream Processing 최소 한 번 처리 만 지원합니다.
Atlas Stream Processing 수평 확장 지원 하지 않습니다.
스트림 프로세서의
state.stateSize는 해당 파드에서 사용 가능한 RAM 의 80%를 초과할 수 없습니다. 예시 들어 8GB 의 RAM 있는SP30계층 에서 스트림 프로세서의 최대 크기는 6.4GB 입니다. 스트림 프로세서의state.stateSize용량이 사용 가능한 RAM 의 80%에 가까워지면 프로세서를 중지하고 상위 계층 에서 다시 시작하는 것이 좋습니다. 스트림 프로세서가 이미 stream processing 작업 공간에 활성화된 최대 계층에서 실행 중인 경우, 상위 계층 스트림 프로세서를 활성화 하도록 stream processing 작업 공간 구성을 조정하는 것이 좋습니다.80% RAM 임계값을 초과하면 스트림 프로세서가
Worker out of memory오류와 함께 실패합니다.sp.processor.stats()명령을 사용하면 각 스트림 프로세서의state.stateSize값을 볼 수 있습니다. 자세한 내용을 알아보려면 스트림 프로세서의 통계 보기를 참조하세요.Atlas Stream Processing 파이프라인 정의는 16 MB를 초과할 수 없습니다.
Organization Stream Processing Admin,Project Owner,Project Stream Processing Owner또는Atlas admin역할을 가진 사용자만 Atlas Stream Processing 사용할 수 있습니다.Apache Kafka $source 로 사용하는 Atlas Stream Processing 의 경우 실행 프로세서에 $source 역할을 하는 Apache Kafka 주제 에 파티션이 추가되면 Atlas Stream Processing 파티션을 읽지 않고 계속 실행 됩니다. 오류 후 체크포인트 에서 파티션을 복원 후 새 파티션을 감지하거나 중지한 후 다시 시작하면 프로세서가 실패합니다. 새로 추가된 파티션으로 주제에서 읽는 프로세서를 다시 생성해야 합니다.
For Apache Kafka 연결의 경우 Atlas Stream Processing 현재 다음 보안 프로토콜만 지원합니다.
SASL_PLAINTEXTSASL_SSLSSL
SASL의 경우 Atlas Stream Processing은 다음 메커니즘을 지원합니다.PLAINSCRAM-SHA-256SCRAM-SHA-512OAUTHBEARER
의
SSL경우, Atlas Stream Processing 사용한 Apache Kafka 시스템 상호 TLS 인증 위해 다음 자산을 제공해야 합니다.a 인증 기관( 기본값 Apache Kafka CA 이외의 인증 기관을 사용하는 경우)
클라이언트 TLS 인증서
TLS 인증서 서명에 사용되는 TLS 키 파일
Atlas Stream Processing은 Atlas에서 사용할 수 있는 집계 파이프라인 단계의 하위 집합을 지원하므로, 저장 데이터에서 수행할 수 있는 것과 동일한 작업을 스트리밍 데이터에 대해 많이 수행할 수 있습니다. 지원되는 집계 파이프라인 단계의 전체 목록은 스트림 집계 문서를 참조하세요.
Atlas Stream Processing은 집계 변수
$$NOW,$$CLUSTER_TIME,$$USER_ROLES,$SEARCH_META를 지원하지 않습니다.Atlas Stream Processing는 $emit 단계를 사용하여 AWS S3 버킷에
125 MB보다 큰 BSON 문서를 쓰는 것을 지원하지 않습니다.기존 스트림 프로세서의 옵션을 재정의하려면
mongosh버전 2.3.4 이상을mongosh메서드를 사용하여야 합니다. 예시 들어sp.processor.start()를 사용하여 시작하려는 프로세서의 계층 지정합니다.mongosh방법에 대해 를 사용하여 스트림 프로세서를 관리하는 자세히 학습 스트림 프로세서 개발을 참조하세요.