제한 사항

Atlas Stream Processing에는 다음과 같은 제한 사항이 적용됩니다.

• 스트림 프로세서의 state.stateSize 는 해당 파드에서 사용 가능한 RAM 의 80%를 초과할 수 없습니다. 예시 를 들어 8GB 의 RAM 가진 SP30 계층 에서 스트림 프로세서의 최대 크기는 6.4GB 입니다. 스트림 프로세서의 state.stateSize 가 사용 가능한 RAM 의 80%에 근접한 경우 프로세서를 중지하고 상위 계층 에서 다시 시작하는 것이 좋습니다. 스트림 프로세서가 이미 스트림 처리 작업 공간에 활성화된 최대 계층 에서 실행 중인 경우, 상위 계층 스트림 프로세서를 활성화 하도록 스트림 처리 공간 구성을 조정하는 것이 좋습니다.

  스트림 프로세서가 80% RAM 임계값을 초과하면 stream processing workspace out of memory 오류로 인해 실패합니다.state.stateSize sp.processor.stats() 명령을 사용하여 각 스트림 프로세서의 값을 볼 수 있습니다. 자세한 학습 은스트림 프로세서의 통계 보기를 참조하세요.

• 스트림 처리 작업 공간은 동일한 프로젝트 의 클러스터만 소스 또는 싱크로 사용할 수 있습니다.

• Atlas Stream Processing 파이프라인 정의는 16 MB를 초과할 수 없습니다.

• Project Owner 또는 Atlas admin 역할을 가진 사용자만 Atlas Stream Processing을 사용할 수 있습니다.

• Atlas Stream Processing은 현재 다음 연결 유형만 지원합니다.

  연결 유형	사용법
  Apache Kafka	소스 또는 싱크
  Atlas Database	소스 또는 싱크
  샘플 연결	소스 전용

• Apache Kafka $source 로 사용하는 Atlas Stream Processing 의 경우 실행 프로세서에 $source 역할을 하는 Apache Kafka 주제 에 파티션이 추가되면 Atlas Stream Processing 파티션을 읽지 않고 계속 실행 됩니다. 오류 후 체크포인트 에서 파티션을 복원 후 새 파티션을 감지하거나 중지한 후 다시 시작하면 프로세서가 실패합니다. 새로 추가된 파티션으로 주제에서 읽는 프로세서를 다시 생성해야 합니다.

• Atlas Stream Processing은 현재 JSON 형식의 데이터만 지원합니다. 현재 Avro 또는 프로토콜 버퍼와 같은 대체 직렬화는 지원하지 않습니다.

• For Apache Kafka 연결의 경우 Atlas Stream Processing 현재 다음 보안 프로토콜만 지원합니다.

  • SASL_PLAINTEXT

  • SASL_SSL

  • SSL

  SASL 의 경우 Atlas Stream Processing은 다음 메커니즘을 지원합니다.

  • PLAIN

  • SCRAM-SHA-256

  • SCRAM-SHA-512

  • OAUTHBEARER

  의 SSL 경우, Atlas Stream Processing 사용한 Apache Kafka 시스템 상호 TLS 인증 위해 다음 자산을 제공해야 합니다.

  • a 인증 기관( 기본값 Apache Kafka CA 이외의 인증 기관을 사용하는 경우)

  • 클라이언트 TLS 인증서

  • TLS 인증서 서명에 사용되는 TLS 키 파일

• Atlas Stream Processing은 $function JavaScript UDF를 지원하지 않습니다.

• Atlas Stream Processing은 Atlas에서 사용할 수 있는 집계 파이프라인 단계의 하위 집합을 지원하므로, 저장 데이터에서 수행할 수 있는 것과 동일한 작업을 스트리밍 데이터에 대해 많이 수행할 수 있습니다. 지원되는 집계 파이프라인 단계의 전체 목록은 스트림 집계 문서를 참조하세요.

• Atlas Stream Processing 집계 변수 $$NOW, $$CLUSTER_TIME, $$USER_ROLES 및 $SEARCH_META를 지원 하지 않습니다.