제한 사항

Atlas Stream Processing에는 다음과 같은 제한 사항이 적용됩니다.

• 모든 스트림 처리 인스턴스를 합한 state.stateSize는 동일한 SPI 계층의 작업자가 사용할 수 있는 RAM의 80%를 초과할 수 없습니다. 예를 들어 작업자당 RAM이 8GB인 SP30 계층의 스트림 프로세서의 최대 크기는 6.4GB입니다. 스트림 프로세서의 state.stateSize가 동일한 SPI 계층의 작업자가 사용할 수 있는 RAM의 80%에 근접하는 경우 다음 SPI 계층으로 이동합니다.

  80% RAM 임계값을 초과하면 모든 스트림 프로세서가 stream processing instance out of memory 오류와 함께 실패합니다. sp.processor.stats() 명령을 사용하면 각 스트림 프로세서의 state.stateSize 값을 볼 수 있습니다. 자세한 내용은 스트림 프로세서 통계 보기를 참조하세요.

• 스트림 처리 인스턴스는 동일한 프로젝트의 클러스터만 소스 또는 싱크로 사용할 수 있습니다.

• Atlas Stream Processing 파이프라인 정의는 16 MB를 초과할 수 없습니다.

• Project Owner 또는 Atlas admin 역할을 가진 사용자만 Atlas Stream Processing을 사용할 수 있습니다.

• Atlas Stream Processing은 현재 다음 연결 유형만 지원합니다.

  연결 유형	사용법
  Apache Kafka	소스 또는 싱크
  Atlas Database	소스 또는 싱크
  샘플 연결	소스 전용

• Apache Kafka 를 사용하는 Atlas Stream Processing의 경우 Apache Kafka 가 $source 인 경우 실행 중인 프로세서에 $source 역할을 하는 주제가 파티션을 추가하면 Atlas Stream Processing은 파티션을 읽지 않고 계속 실행됩니다. 오류 후 체크포인트에서 파티션을 복원한 후 새 파티션을 감지하거나 중지한 후 다시 시작하면 프로세서가 실패합니다. 새로 추가된 파티션으로 주제에서 읽는 프로세서를 다시 생성해야 합니다.

• Atlas Stream Processing은 현재 JSON 형식의 데이터만 지원합니다. 현재 Avro 또는 프로토콜 버퍼와 같은 대체 직렬화는 지원하지 않습니다.

• Apache Kafka 의 경우 Atlas Stream Processing은 현재 다음 보안 프로토콜만 지원합니다.

  • SASL_PLAINTEXT

  • SASL_SSL

  • SSL

  SASL 의 경우 Atlas Stream Processing은 다음 메커니즘을 지원합니다.

  • PLAIN

  • SCRAM-SHA-256

  • SCRAM-SHA-512

  의 SSL 경우, Atlas Stream Processing 사용한 Apache Kafka 시스템 상호 TLS 인증 위해 다음 자산을 제공해야 합니다.

  • 인증 기관( 기본값 Apache Kafka CA 이외의 인증 기관을 사용하는 경우)

  • 클라이언트 TLS 인증서

  • TLS 인증서 서명에 사용되는 TLS 키 파일

• Atlas Stream Processing은 $function JavaScript UDF를 지원하지 않습니다.

• Atlas Stream Processing은 Atlas에서 사용할 수 있는 집계 파이프라인 단계의 하위 집합을 지원하므로, 저장 데이터에서 수행할 수 있는 것과 동일한 작업을 스트리밍 데이터에 대해 많이 수행할 수 있습니다. 지원되는 집계 파이프라인 단계의 전체 목록은 스트림 집계 문서를 참조하세요.