Você pode usar o Atlas Kubernetes Operator para gerenciar espaços de trabalho e conexões de processamento de fluxo para o Atlas Stream Processing. O Atlas Stream Processing permite a você processar streams de dados complexos usando a mesma MongoDB Query API que os bancos de dados do Atlas usam. O Atlas Stream Processing permite que você execute as seguintes tarefas:
Crie aggregation pipelines para operar continuamente na transmissão de dados sem os atrasos inerentes ao processamento em lote.
Realize a validação contínua do esquema para verificar se as mensagens estão formadas corretamente, detecte a corrupção da mensagem e detecte a chegada atrasada de dados.
Publicar continuamente resultados em coleções do Atlas ou clusters do Apache Kafka, garantindo visualizações e análise atualizadas dos dados.
Os componentes do Atlas Stream Processing pertencem diretamente aos projetos do Atlas e operam independentemente dos clusters do Atlas . Para saber mais, consulte o que é-atlas-sp.
Espaços de trabalho e conexões de processamento de fluxo
Os espaços de trabalho de Atlas Stream Processing fornecem o contexto para todas as suas operações em dados de streaming. Você pode configurar uma conexão de amostra, uma conexão com um change stream do Atlas ou uma conexão com um sistema Apache Kafka. Em seguida, você pode adicionar a conexão ao Registro de conexão do seu espaço de trabalho de processamento de fluxo. Para saber mais, consulte Gerenciar espaços de trabalho de processamento de fluxo.
Pré-requisitos
Para utilizar o Atlas Kubernetes Operator para gerenciar espaços de trabalho e conexões de processamento de fluxo, você deve:
Tenha um usuário do Atlas com o
Project Ownerou o role para gerenciar um registro de conexão e um espaço de trabalho de processamento de fluxo. Para saber mais sobre as diferenças entre as duas funções,Project Stream Processing Ownerconsulte Funções do projeto.Tenha um cluster Kubernetes em execução com o Atlas Kubernetes Operator implantado.
Garanta que seu endereço IP esteja na lista de acesso à API da organização.
Procedimento
Para utilizar o Atlas Kubernetes Operator para gerenciar um espaço de trabalho de processamento de fluxo e suas conexões, faça as seguintes etapas:
Configure o AtlasStreamWorkspace Recurso personalizado.
Exemplo:
cat <<EOF | kubectl apply -f - apiVersion: atlas.mongodb.com/v1 kind: AtlasStreamInstance metadata: name: my-stream-instance spec: name: my-stream-instance clusterConfig: provider: AWS region: VIRGINIA_USA tier: SP30 projectRef: name: my-project EOF
Para saber mais sobre os parâmetros disponíveis, consulte o AtlasStreamWorkspace Recurso Personalizado .
Observação
Atualmente, o Atlas Kubernetes Operator suporta somente o fornecedor AWS e a região VIRGINIA_USA para este recurso personalizado.
Configure o AtlasStreamConnection Recurso personalizado.
Você pode configurar uma conexão de amostra, uma conexão com um change stream do Atlas ou uma conexão com um sistema Apache Kafka.
Exemplos:
apiVersion: atlas.mongodb.com/v1 kind: AtlasStreamConnection metadata: name: my-stream-connection spec: name: sample_stream_solar type: Sample
Observação
Se você especificar Sample para o parâmetro spec.type , o parâmetro spec.name deverá corresponder ao nome da collection de amostra. Atualmente, o Atlas Kubernetes Operator suporta somente a collection de amostra sample_stream_solar para este recurso personalizado.
apiVersion: atlas.mongodb.com/v1 kind: AtlasStreamConnection metadata: name: my-stream-connection spec: name: my-stream-connection type: Cluster clusterConfig: name: my-cluster role: name: my-db-role type: CUSTOM
apiVersion: atlas.mongodb.com/v1 kind: AtlasStreamConnection metadata: name: my-stream-connection spec: name: my-stream-connection type: Kafka kafkaConfig: bootstrapServers: "comma,separated,list,of,server,addresses" authentication: mechanism: SCRAM-512 credentials: name: ref-to-creds-secret namespace: default security: protocol: SSL certificate: name: ref-to-certificate-secret namespace: default
Para saber mais sobre os parâmetros disponíveis, consulte o AtlasStreamConnection Recurso Personalizado .
Adicione suas conexões ao Registro de conexão no AtlasStreamWorkspace Recurso personalizado.
Exemplo:
cat <<EOF | kubectl apply -f - apiVersion: atlas.mongodb.com/v1 kind: AtlasStreamInstance metadata: name: my-stream-instance spec: name: my-stream-instance clusterConfig: provider: AWS region: VIRGINIA_USA tier: SP30 projectRef: name: my-project connectionRegistry: - name: ref-my-connection-1 namespace: my-namespace1 - name: ref-my-connection-2 namespace: my-namespace2 - name: ref-my-connection-3 namespace: my-namespace1 EOF
Observação
Atualmente, o Atlas Kubernetes Operator suporta somente o fornecedor AWS e a região VIRGINIA_USA para este recurso personalizado.
Para saber mais sobre os parâmetros disponíveis, consulte o AtlasStreamWorkspace Recurso Personalizado .