You can use Atlas Kubernetes Operator to manage stream processing workspaces and connections for Atlas Stream Processing. Atlas Stream Processing enables you to process streams of complex data using the same MongoDB Query API that Atlas databases use. Atlas Stream Processing allows you to do the following tasks:
Crie aggregation pipelines para operar continuamente na transmissão de dados sem os atrasos inerentes ao processamento em lote.
Perform continuous schema validation to check that messages are properly formed, detect message corruption, and detect late-arriving data.
Publique continuamente resultados em coleções do Atlas ou clusters do Apache Kafka, garantindo visualizações e análises atualizadas dos dados.
Atlas Stream Processing components belong directly to Atlas projects and operate independent of Atlas clusters. To learn more, see atlas-stream-processing.
Espaços de trabalho e conexões de Stream Processing
Os espaços de trabalho de Atlas Stream Processing fornecem o contexto para todas as suas operações em dados de streaming. Você pode configurar uma conexão de amostra, uma conexão com um fluxo de alterações do Atlas ou uma conexão com um sistema Apache Kafka. Em seguida, você pode adicionar a conexão ao Registro de conexão do seu espaço de trabalho de stream processing. Para aprender mais, consulte Gerenciar espaços de trabalho de Stream Processing.
Pré-requisitos
Para utilizar o Atlas Kubernetes Operator para gerenciar espaços de trabalho e conexões de stream processing, você deve:
Have an Atlas user with the
Project Owneror theProject Stream Processing Ownerrole to manage a Connection Registry and Stream Processing Workspace. To learn more about the differences between the two roles, see Project Roles.Ter um cluster Kubernetes em execução com o Atlas Kubernetes Operator distribuído.
Ensure your IP address is in the organization's API access list.
Procedimento
Para utilizar o Atlas Kubernetes Operator para gerenciar um espaço de trabalho de stream processing e suas conexões, faça as seguintes etapas:
Configure o AtlasStreamWorkspace Recurso personalizado.
Exemplo:
cat <<EOF | kubectl apply -f - apiVersion: atlas.mongodb.com/v1 kind: AtlasStreamWorkspace metadata: name: my-stream-workspace spec: name: my-stream-workspace clusterConfig: provider: AWS region: VIRGINIA_USA tier: SP30 projectRef: name: my-project EOF
Para saber mais sobre os parâmetros disponíveis, consulte o AtlasStreamWorkspace Recurso Personalizado .
Observação
Atualmente, o Atlas Kubernetes Operator suporta somente o fornecedor AWS e a região VIRGINIA_USA para este recurso personalizado.
Configure o AtlasStreamConnection Recurso personalizado.
Você pode configurar uma conexão de amostra, uma conexão com um change stream do Atlas ou uma conexão com um sistema Apache Kafka.
Exemplos:
apiVersion: atlas.mongodb.com/v1 kind: AtlasStreamConnection metadata: name: my-stream-connection spec: name: sample_stream_solar type: Sample
Observação
Se você especificar Sample para o parâmetro spec.type , o parâmetro spec.name deverá corresponder ao nome da collection de amostra. Atualmente, o Atlas Kubernetes Operator suporta somente a collection de amostra sample_stream_solar para este recurso personalizado.
apiVersion: atlas.mongodb.com/v1 kind: AtlasStreamConnection metadata: name: my-stream-connection spec: name: my-stream-connection type: Cluster clusterConfig: name: my-cluster role: name: my-db-role type: CUSTOM
apiVersion: atlas.mongodb.com/v1 kind: AtlasStreamConnection metadata: name: my-stream-connection spec: name: my-stream-connection type: Kafka kafkaConfig: bootstrapServers: "comma,separated,list,of,server,addresses" authentication: mechanism: SCRAM-512 credentials: name: ref-to-creds-secret namespace: default security: protocol: SSL certificate: name: ref-to-certificate-secret namespace: default
Para saber mais sobre os parâmetros disponíveis, consulte o AtlasStreamConnection Recurso Personalizado .
Adicione suas conexões ao Registro de conexão no AtlasStreamWorkspace Recurso personalizado.
Exemplo:
cat <<EOF | kubectl apply -f - apiVersion: atlas.mongodb.com/v1 kind: AtlasStreamWorkspace metadata: name: my-stream-workspace spec: name: my-stream-workspace clusterConfig: provider: AWS region: VIRGINIA_USA tier: SP30 projectRef: name: my-project connectionRegistry: - name: ref-my-connection-1 namespace: my-namespace1 - name: ref-my-connection-2 namespace: my-namespace2 - name: ref-my-connection-3 namespace: my-namespace1 EOF
Observação
Atualmente, o Atlas Kubernetes Operator suporta somente o fornecedor AWS e a região VIRGINIA_USA para este recurso personalizado.
Para saber mais sobre os parâmetros disponíveis, consulte o AtlasStreamWorkspace Recurso Personalizado .