Puedes utilizar el Atlas Kubernetes Operator para gestionar los espacios de trabajo de Stream Processing y las conexiones para el Stream Processing de Atlas. Atlas Stream Processing permite procesar flujos de datos complejos utilizando la misma MongoDB Query API que utiliza las bases de datos de Atlas. Atlas Stream Processing te permite realizar las siguientes tareas:
Compile pipelines de agregación para operar continuamente sobre datos en transmisión sin los retrasos inherentes al procesamiento por lotes.
Perform continuous validación de esquema to check that messages are properly formatted, detect message corruption, and detect late-arriving data.
Publica resultados continuamente en colecciones de Atlas o Apache Kafka clústeres, garantizando visualizaciones y análisis de datos actualizados.
Los componentes de Atlas Stream Processing pertenecen directamente a los proyectos de Atlas y funcionan independientemente de los clústeres de Atlas. Para aprender más información, consulta atlas-stream-processing.
Espacios de trabajo y conexiones de Stream Processing
Los espacios de trabajo de Atlas Stream Processing proporcionan el contexto para todas sus operaciones en datos de transmisión. Puede configurar una conexión de muestra, una conexión a un Atlas flujo de cambios, o una conexión a un sistema Apache Kafka. Luego, puede agregar la conexión al Registro de conexiones para su espacio de trabajo de Stream Processing. Para obtener más información, consulte manage-spi.
Requisitos previos
Para utilizar el Atlas Kubernetes Operator para gestionar los espacios de trabajo y las conexiones de Stream Processing, debes:
Tener un Atlas user con el
Project Ownero elProject Stream Processing Ownerrol para gestionar un Registro de conexiones y un Espacio de trabajo de Stream Processing. Para obtener más información sobre las diferencias entre ambos roles, consulta Roles del proyecto.Se debe contar con un clúster de Kubernetes en ejecución con Atlas Kubernetes Operator implementado.
Asegúrate de que tu dirección IP esté en la API de la organización en la lista de acceso.
Procedimiento
Para utilizar Atlas Kubernetes Operator para gestionar un espacio de trabajo de Stream Processing y sus conexiones, realice los siguientes pasos:
Configurar el AtlasStreamWorkspace Recurso Personalizado.
Ejemplo:
cat <<EOF | kubectl apply -f - apiVersion: atlas.mongodb.com/v1 kind: AtlasStreamWorkspace metadata: name: my-stream-workspace spec: name: my-stream-workspace clusterConfig: provider: AWS region: VIRGINIA_USA tier: SP30 projectRef: name: my-project EOF
Para obtener más información sobre los parámetros disponibles, consulta el AtlasStreamWorkspace Recurso personalizado.
Nota
Actualmente, el Operador de Atlas Kubernetes sólo admite el proveedor AWS y la región VIRGINIA_USA para este recurso personalizado.
Configurar el AtlasStreamConnection Recurso Personalizado.
Puedes configurar una conexión de muestra, una conexión a un Atlas flujo de cambios, o una conexión a un sistema Apache Kafka.
Ejemplos:
apiVersion: atlas.mongodb.com/v1 kind: AtlasStreamConnection metadata: name: my-stream-connection spec: name: sample_stream_solar type: Sample
Nota
Si usted especifica Sample para el parámetro spec.type, el parámetro spec.name debe coincidir con el nombre de la colección de muestra. Actualmente, Atlas Kubernetes Operator solo es compatible con la colección de muestra sample_stream_solar para este recurso personalizado.
apiVersion: atlas.mongodb.com/v1 kind: AtlasStreamConnection metadata: name: my-stream-connection spec: name: my-stream-connection type: Cluster clusterConfig: name: my-cluster role: name: my-db-role type: CUSTOM
apiVersion: atlas.mongodb.com/v1 kind: AtlasStreamConnection metadata: name: my-stream-connection spec: name: my-stream-connection type: Kafka kafkaConfig: bootstrapServers: "comma,separated,list,of,server,addresses" authentication: mechanism: SCRAM-512 credentials: name: ref-to-creds-secret namespace: default security: protocol: SSL certificate: name: ref-to-certificate-secret namespace: default
Para obtener más información sobre los parámetros disponibles, consulta el AtlasStreamConnection Recurso personalizado.
Agrega tus conexiones al Registro de Conexiones en el AtlasStreamWorkspace Recurso Personalizado.
Ejemplo:
cat <<EOF | kubectl apply -f - apiVersion: atlas.mongodb.com/v1 kind: AtlasStreamWorkspace metadata: name: my-stream-workspace spec: name: my-stream-workspace clusterConfig: provider: AWS region: VIRGINIA_USA tier: SP30 projectRef: name: my-project connectionRegistry: - name: ref-my-connection-1 namespace: my-namespace1 - name: ref-my-connection-2 namespace: my-namespace2 - name: ref-my-connection-3 namespace: my-namespace1 EOF
Nota
Actualmente, el Operador de Atlas Kubernetes sólo admite el proveedor AWS y la región VIRGINIA_USA para este recurso personalizado.
Para obtener más información sobre los parámetros disponibles, consulta el AtlasStreamWorkspace Recurso personalizado.