Atlas Kubernetes Operator 사용하여 Atlas stream processing 작업 공간 및 연결을 관리 할 수 있습니다. Atlas Stream Processing 하면 Atlas 데이터베이스에서 사용하는 것과 동일한 MongoDB 쿼리 API 사용하여 복잡한 데이터의 스트림을 프로세스 할 수 있습니다. Atlas Stream Processing 하면 다음 작업을 수행할 수 있습니다.
집계 파이프라인 을 구축하여 배치 처리에 내재된 지연 없이 스트리밍 데이터에서 지속적으로 작동할 수 있습니다.
지속적인 스키마 유효성 검사 를 수행하여 메시지가 올바르게 구성되었는지 확인하고, 메시지 손상을 감지하고, 늦게 도착하는 데이터를 감지합니다.
결과를 Atlas 컬렉션 또는 Apache Kafka 클러스터에 지속적으로 게시하여 데이터에 대한 최신 보기와 분석을 보장합니다.
Atlas Stream Processing 구성 요소는 Atlas 프로젝트에 직접 속하며, Atlas 클러스터와 독립적으로 작동합니다. 자세히 학습 Atlas Stream Processing 참조하세요.
Stream Processing 작업 공간 및 연결
Atlas Stream Processing 작업 공간은 스트리밍 데이터에 대한 모든 작업에 대한 컨텍스트를 제공합니다. 샘플 연결, Atlas 변경 스트림에 대한 연결 또는 Apache Kafka 시스템에 대한 연결을 구성할 수 있습니다. 그런 다음 stream processing 공간의 연결 레지스트리에 연결을 추가할 수 있습니다. 자세히 managed Stream Processing 작업 공간.학습을 참조하세요.
전제 조건
Atlas Kubernetes Operator 사용하여 스트림 처리 작업 공간 및 연결을 관리하려면 다음을 수행해야 합니다.
연결 레지스트리 및 스트림 처리 작업 공간을 관리 할 또는 역할 있는
Project OwnerProject Stream Processing OwnerAtlas user 있어야 합니다. 두 역할 간의 차이점에 대해 자세히 학습하려면 프로젝트 역할.을 참조하세요.Atlas Kubernetes Operator 이 배포된실행 Kubernetes 클러스터 가 있어야 합니다.
IP 주소가 조직의 API 액세스 목록에 있는지 확인합니다.
절차
Atlas Kubernetes Operator 사용하여 stream processing 작업 공간 및 해당 연결을 관리하려면 다음 단계를 수행하세요.
AtlasStreamWorkspace Custom Resource(사용자 지정 리소스)를 구성합니다.
예시:
cat <<EOF | kubectl apply -f - apiVersion: atlas.mongodb.com/v1 kind: AtlasStreamWorkspace metadata: name: my-stream-workspace spec: name: my-stream-workspace clusterConfig: provider: AWS region: VIRGINIA_USA tier: SP30 projectRef: name: my-project EOF
사용 가능한 매개변수에 대해 자세히 알아보려면 AtlasStreamWorkspace 사용자 지정 리소스를 참조하세요.
참고
현재 Atlas Kubernetes Operator는 이 사용자 지정 리소스에 대해 AWS 제공자 및 VIRGINIA_USA 리전만 지원합니다.
AtlasStreamConnection Custom Resource(사용자 지정 리소스)를 구성합니다.
샘플 연결, Atlas 변경 스트림 에 대한 연결 또는 Apache Kafka 시스템에 대한 연결을 구성할 수 있습니다.
예시:
apiVersion: atlas.mongodb.com/v1 kind: AtlasStreamConnection metadata: name: my-stream-connection spec: name: sample_stream_solar type: Sample
참고
spec.type 매개변수에 Sample 을 지정하는 경우 spec.name 매개변수는 샘플 컬렉션 이름과 일치해야 합니다. 현재 Atlas Kubernetes Operator는 이 사용자 지정 리소스에 대해 sample_stream_solar 샘플 컬렉션만 지원합니다.
apiVersion: atlas.mongodb.com/v1 kind: AtlasStreamConnection metadata: name: my-stream-connection spec: name: my-stream-connection type: Cluster clusterConfig: name: my-cluster role: name: my-db-role type: CUSTOM
apiVersion: atlas.mongodb.com/v1 kind: AtlasStreamConnection metadata: name: my-stream-connection spec: name: my-stream-connection type: Kafka kafkaConfig: bootstrapServers: "comma,separated,list,of,server,addresses" authentication: mechanism: SCRAM-512 credentials: name: ref-to-creds-secret namespace: default security: protocol: SSL certificate: name: ref-to-certificate-secret namespace: default
사용 가능한 매개변수에 대해 자세히 알아보려면 AtlasStreamConnection 사용자 지정 리소스를 참조하세요.
AtlasStreamWorkspace 사용자 지정 리소스에서 연결 레지스트리에 대한 연결을 추가합니다.
예시:
cat <<EOF | kubectl apply -f - apiVersion: atlas.mongodb.com/v1 kind: AtlasStreamWorkspace metadata: name: my-stream-workspace spec: name: my-stream-workspace clusterConfig: provider: AWS region: VIRGINIA_USA tier: SP30 projectRef: name: my-project connectionRegistry: - name: ref-my-connection-1 namespace: my-namespace1 - name: ref-my-connection-2 namespace: my-namespace2 - name: ref-my-connection-3 namespace: my-namespace1 EOF
참고
현재 Atlas Kubernetes Operator는 이 사용자 지정 리소스에 대해 AWS 제공자 및 VIRGINIA_USA 리전만 지원합니다.
사용 가능한 매개변수에 대해 자세히 알아보려면 AtlasStreamWorkspace 사용자 지정 리소스를 참조하세요.