You can use Atlas Kubernetes Operator to manage stream processing workspaces and connections for Atlas Stream Processing. Atlas Stream Processing enables you to process streams of complex data using the same MongoDB Query API that Atlas databases use. Atlas Stream Processing allows you to do the following tasks:
집계 파이프라인 을 구축하여 배치 처리에 내재된 지연 없이 스트리밍 데이터에서 지속적으로 작동할 수 있습니다.
Perform continuous schema validation to check that messages are properly formed, detect message corruption, and detect late-arriving data.
결과를 Atlas collection 또는 Apache Kafka cluster에 지속적으로 게시하여 데이터에 대한 최신 보기와 분석을 보장합니다.
Atlas Stream Processing components belong directly to Atlas projects and operate independent of Atlas clusters. To learn more, see atlas-stream-processing.
Stream Processing 작업 공간 및 연결
Atlas Stream Processing 작업 공간은 스트리밍 데이터에 대한 모든 작업에 대한 컨텍스트를 제공합니다. 샘플 연결, Atlas 변경 스트림에 대한 연결 또는 Apache Kafka 시스템에 대한 연결을 구성할 수 있습니다. 그런 다음 stream processing 공간의 연결 레지스트리에 연결을 추가할 수 있습니다. 자세히 managed Stream Processing 작업 공간.학습을 참조하세요.
전제 조건
Atlas Kubernetes Operator 사용하여 스트림 처리 작업 공간 및 연결을 관리하려면 다음을 수행해야 합니다.
Have an Atlas user with the
Project Owneror theProject Stream Processing Ownerrole to manage a Connection Registry and Stream Processing Workspace. To learn more about the differences between the two roles, see Project Roles.Atlas Kubernetes Operator를 배포하여 Kubernetes cluster를 실행합니다.
사용자의 IP 주소 가 조직의 API 액세스 목록에 있는지 확인하세요.
절차
Atlas Kubernetes Operator 사용하여 stream processing 작업 공간 및 해당 연결을 관리하려면 다음 단계를 수행하세요.
AtlasStreamWorkspace 사용자 정의 리소스를 구성합니다.
예시:
cat <<EOF | kubectl apply -f - apiVersion: atlas.mongodb.com/v1 kind: AtlasStreamWorkspace metadata: name: my-stream-workspace spec: name: my-stream-workspace clusterConfig: provider: AWS region: VIRGINIA_USA tier: SP30 projectRef: name: my-project EOF
사용 가능한 매개변수에 대해 자세히 알아보려면 AtlasStreamWorkspace 사용자 지정 리소스를 참조하세요.
참고
현재 Atlas Kubernetes Operator는 이 사용자 지정 리소스에 대해 AWS 제공자 및 VIRGINIA_USA 리전만 지원합니다.
AtlasStreamConnection 사용자 정의 리소스를 구성합니다.
샘플 연결, Atlas 변경 스트림 에 대한 연결 또는 Apache Kafka 시스템에 대한 연결을 구성할 수 있습니다.
예시:
apiVersion: atlas.mongodb.com/v1 kind: AtlasStreamConnection metadata: name: my-stream-connection spec: name: sample_stream_solar type: Sample
참고
spec.type 매개변수에 Sample 을 지정하는 경우 spec.name 매개변수는 샘플 컬렉션 이름과 일치해야 합니다. 현재 Atlas Kubernetes Operator는 이 사용자 지정 리소스에 대해 sample_stream_solar 샘플 컬렉션만 지원합니다.
apiVersion: atlas.mongodb.com/v1 kind: AtlasStreamConnection metadata: name: my-stream-connection spec: name: my-stream-connection type: Cluster clusterConfig: name: my-cluster role: name: my-db-role type: CUSTOM
apiVersion: atlas.mongodb.com/v1 kind: AtlasStreamConnection metadata: name: my-stream-connection spec: name: my-stream-connection type: Kafka kafkaConfig: bootstrapServers: "comma,separated,list,of,server,addresses" authentication: mechanism: SCRAM-512 credentials: name: ref-to-creds-secret namespace: default security: protocol: SSL certificate: name: ref-to-certificate-secret namespace: default
사용 가능한 매개변수에 대해 자세히 알아보려면 AtlasStreamConnection 사용자 지정 리소스를 참조하세요.
AtlasStreamWorkspace 사용자 지정 리소스에서 연결 레지스트리에 대한 연결을 추가합니다.
예시:
cat <<EOF | kubectl apply -f - apiVersion: atlas.mongodb.com/v1 kind: AtlasStreamWorkspace metadata: name: my-stream-workspace spec: name: my-stream-workspace clusterConfig: provider: AWS region: VIRGINIA_USA tier: SP30 projectRef: name: my-project connectionRegistry: - name: ref-my-connection-1 namespace: my-namespace1 - name: ref-my-connection-2 namespace: my-namespace2 - name: ref-my-connection-3 namespace: my-namespace1 EOF
참고
현재 Atlas Kubernetes Operator는 이 사용자 지정 리소스에 대해 AWS 제공자 및 VIRGINIA_USA 리전만 지원합니다.
사용 가능한 매개변수에 대해 자세히 알아보려면 AtlasStreamWorkspace 사용자 지정 리소스를 참조하세요.