Atlas Stream Processing에는 다음과 같은 제한 사항이 적용됩니다.
스트림 프로세서의
state.stateSize은 해당 pod에 사용 가능한 RAM의 80%를 초과할 수 없습니다. 예를 들어, RAM이 8GB인SP30계층의 스트림 프로세서 최대 크기는 6.4GB입니다. 스트림 프로세서의state.stateSize이 사용 가능한 RAM의 80%에 근접하면 프로세서를 중지하고 더 높은 계층에서 다시 시작하는 것이 좋습니다. 스트림 처리 프로세서가 이미 스트림 처리 작업 공간에서 활성화된 최대 계층에서 실행 중인 경우, 더 높은 계층의 스트림 처리 프로세서를 활성화할 수 있도록 스트림 처리 작업 공간 구성을 조정하는 것을 고려합니다.스트림 프로세서가 80% RAM 임계값을 초과하면
stream processing workspace out of memory오류로 인해 실패합니다.sp.processor.stats()명령을 사용하면 각 스트림 프로세서의state.stateSize값을 볼 수 있습니다. 자세한 내용은 스트림 프로세서 통계 보기를 참조하세요.스트림 처리 작업 공간은 소스 또는 싱크로 동일한 프로젝트에 있는 클러스터만 사용할 수 있습니다.
Atlas Stream Processing 파이프라인 정의는 16 MB를 초과할 수 없습니다.
Project Owner또는Atlas admin역할을 가진 사용자만 Atlas Stream Processing 사용할 수 있습니다.Atlas Stream Processing은 현재 다음 연결 유형만 지원합니다.
연결 유형사용법소스 또는 싱크
Atlas Database
소스 또는 싱크
샘플 연결
소스 전용
Apache Kafka $source 로 사용하는 Atlas Stream Processing 의 경우 실행 프로세서에 $source 역할을 하는 Apache Kafka 주제 에 파티션이 추가되면 Atlas Stream Processing 파티션을 읽지 않고 계속 실행 됩니다. 오류 후 체크포인트 에서 파티션을 복원 후 새 파티션을 감지하거나 중지한 후 다시 시작하면 프로세서가 실패합니다. 새로 추가된 파티션으로 주제에서 읽는 프로세서를 다시 생성해야 합니다.
Atlas Stream Processing은 현재 JSON 형식의 데이터만 지원합니다. 현재 Avro 또는 프로토콜 버퍼와 같은 대체 직렬화는 지원하지 않습니다.
For Apache Kafka 연결의 경우 Atlas Stream Processing 현재 다음 보안 프로토콜만 지원합니다.
SASL_PLAINTEXTSASL_SSLSSL
SASL의 경우 Atlas Stream Processing은 다음 메커니즘을 지원합니다.PLAINSCRAM-SHA-256SCRAM-SHA-512OAUTHBEARER
의
SSL경우, Atlas Stream Processing 사용한 Apache Kafka 시스템 상호 TLS 인증 위해 다음 자산을 제공해야 합니다.a 인증 기관( 기본값 Apache Kafka CA 이외의 인증 기관을 사용하는 경우)
클라이언트 TLS 인증서
TLS 인증서 서명에 사용되는 TLS 키 파일
Atlas Stream Processing은 $function JavaScript UDF를 지원하지 않습니다.
Atlas Stream Processing은 Atlas에서 사용할 수 있는 집계 파이프라인 단계의 하위 집합을 지원하므로, 저장 데이터에서 수행할 수 있는 것과 동일한 작업을 스트리밍 데이터에 대해 많이 수행할 수 있습니다. 지원되는 집계 파이프라인 단계의 전체 목록은 스트림 집계 문서를 참조하세요.
Atlas Stream Processing은 집계 변수
$$NOW,$$CLUSTER_TIME,$$USER_ROLES,$SEARCH_META를 지원하지 않습니다.