Puedes utilizar el Atlas Kubernetes Operator para gestionar los espacios de trabajo de Stream Processing y las conexiones para el Stream Processing de Atlas. Atlas Stream Processing permite procesar flujos de datos complejos utilizando la misma API de consultas de MongoDB que utilizan las bases de datos Atlas. El procesamiento de flujos de Atlas permite realizar las siguientes tareas:
Cree canales de agregación para operar de manera continua con datos en tiempo real sin los retrasos inherentes al procesamiento por lotes.
Perform continuous validación de esquema to check that messages are properly formatted, detect message corruption, and detect late-arriving data.
Publicar resultados continuamente en colecciones de Atlas o Apache Kafka clústeres, asegurando vistas y análisis de datos actualizados.
Los componentes de Atlas Stream Processing pertenecen directamente a los proyectos de Atlas y funcionan independientemente de los clústeres de Atlas. Para aprender más información, consulta atlas-stream-processing.
Espacios de trabajo y conexiones de Stream Processing
Los espacios de trabajo de Atlas Stream Processing proporcionan el contexto para todas tus operaciones sobre datos de transmisión. Puede configurar una conexión de muestra, una conexión a un Atlas flujo de cambios, o una conexión a un sistema Apache Kafka. Luego, puedes agregar la conexión al Registro de Conexiones para tu espacio de trabajo de Stream Processing. Para obtener más información, consulta Gestión de Workspaces de Stream Processing.
Requisitos previos
Para utilizar el Atlas Kubernetes Operator para gestionar los espacios de trabajo y las conexiones de Stream Processing, debes:
Tener un usuario de Atlas con el
Project Ownero el rolProject Stream Processing Ownerpara administrar un Registro de Conexión y un Espacio de Trabajo de Procesamiento de Flujos. Para obtener más información sobre las diferencias entre ambos roles, consulte Roles de Proyecto.Tener un clúster de Kubernetes en funcionamiento con Atlas Kubernetes Operator implementar.
Asegure su La dirección IP está en la API lista de control de accesode la organización.
Procedimiento
Para utilizar Atlas Kubernetes Operator para gestionar un espacio de trabajo de Stream Processing y sus conexiones, realice los siguientes pasos:
Configurar el AtlasStreamWorkspace recurso personalizado.
Ejemplo:
cat <<EOF | kubectl apply -f - apiVersion: atlas.mongodb.com/v1 kind: AtlasStreamWorkspace metadata: name: my-stream-workspace spec: name: my-stream-workspace clusterConfig: provider: AWS region: VIRGINIA_USA tier: SP30 projectRef: name: my-project EOF
Para obtener más información sobre los parámetros disponibles, consulta el AtlasStreamWorkspace Recurso personalizado.
Nota
Actualmente, el Operador de Atlas Kubernetes sólo admite el proveedor AWS y la región VIRGINIA_USA para este recurso personalizado.
Configurar el AtlasStreamConnection recurso personalizado.
Puede configurar una conexión de muestra, una conexión a un flujo de cambios de Atlas o una conexión a un sistema Apache Kafka.
Ejemplos:
apiVersion: atlas.mongodb.com/v1 kind: AtlasStreamConnection metadata: name: my-stream-connection spec: name: sample_stream_solar type: Sample
Nota
Si usted especifica Sample para el parámetro spec.type, el parámetro spec.name debe coincidir con el nombre de la colección de muestra. Actualmente, Atlas Kubernetes Operator solo es compatible con la colección de muestra sample_stream_solar para este recurso personalizado.
apiVersion: atlas.mongodb.com/v1 kind: AtlasStreamConnection metadata: name: my-stream-connection spec: name: my-stream-connection type: Cluster clusterConfig: name: my-cluster role: name: my-db-role type: CUSTOM
apiVersion: atlas.mongodb.com/v1 kind: AtlasStreamConnection metadata: name: my-stream-connection spec: name: my-stream-connection type: Kafka kafkaConfig: bootstrapServers: "comma,separated,list,of,server,addresses" authentication: mechanism: SCRAM-512 credentials: name: ref-to-creds-secret namespace: default security: protocol: SSL certificate: name: ref-to-certificate-secret namespace: default
Para obtener más información sobre los parámetros disponibles, consulta el AtlasStreamConnection Recurso personalizado.
Agrega tus conexiones al Registro de Conexiones en el AtlasStreamWorkspace Recurso Personalizado.
Ejemplo:
cat <<EOF | kubectl apply -f - apiVersion: atlas.mongodb.com/v1 kind: AtlasStreamWorkspace metadata: name: my-stream-workspace spec: name: my-stream-workspace clusterConfig: provider: AWS region: VIRGINIA_USA tier: SP30 projectRef: name: my-project connectionRegistry: - name: ref-my-connection-1 namespace: my-namespace1 - name: ref-my-connection-2 namespace: my-namespace2 - name: ref-my-connection-3 namespace: my-namespace1 EOF
Nota
Actualmente, el Operador de Atlas Kubernetes sólo admite el proveedor AWS y la región VIRGINIA_USA para este recurso personalizado.
Para obtener más información sobre los parámetros disponibles, consulta el AtlasStreamWorkspace Recurso personalizado.