Puedes utilizar el Atlas Kubernetes Operator para gestionar los espacios de trabajo de Stream Processing y las conexiones para el Stream Processing de Atlas. Atlas Stream Processing permite procesar flujos de datos complejos utilizando la misma MongoDB Query API que utilizan las bases de datos de Atlas. Atlas Stream Processing te permite realizar las siguientes tareas:
Compile pipelines de agregación para operar continuamente sobre datos en transmisión sin los retrasos inherentes al procesamiento por lotes.
Perform continuous validación de esquema to check that messages are properly formatted, detect message corruption, and detect late-arriving data.
Publica resultados de forma continua en colecciones de Atlas o Apache Kafka clústeres, asegurando vistas y análisis de datos actualizados.
Los componentes de Atlas Stream Processing pertenecen directamente a los proyectos de Atlas y funcionan independientemente de los clústeres de Atlas. Para aprender más información, consulta atlas-stream-processing.
Espacios de trabajo y conexiones de Stream Processing
Los espacios de trabajo de Atlas Stream Processing proporcionan el contexto para todas tus operaciones sobre datos de transmisión. Puede configurar una conexión de muestra, una conexión a un Atlas flujo de cambios, o una conexión a un sistema Apache Kafka. Luego, puedes agregar la conexión al Registro de Conexiones para tu espacio de trabajo de Stream Processing. Para obtener más información, consulta Gestión de Workspaces de Stream Processing.
Requisitos previos
Para utilizar el Atlas Kubernetes Operator para gestionar los espacios de trabajo y las conexiones de Stream Processing, debes:
Tener un usuario de Atlas con el
Project Ownero elProject Stream Processing Ownereste rol para administrar un Registro de Conexiones y un Espacio de trabajo de Stream Processing. Para aprender más sobre las diferencias entre los dos roles, consultar Roles del Proyecto.Tener un clúster de Kubernetes en funcionamiento con Atlas Kubernetes Operator implementar.
Asegure su La dirección IP está en la API lista de control de accesode la organización.
Procedimiento
Para utilizar Atlas Kubernetes Operator para gestionar un espacio de trabajo de Stream Processing y sus conexiones, realice los siguientes pasos:
Configurar el AtlasStreamWorkspace Recurso Personalizado.
Ejemplo:
cat <<EOF | kubectl apply -f - apiVersion: atlas.mongodb.com/v1 kind: AtlasStreamWorkspace metadata: name: my-stream-workspace spec: name: my-stream-workspace clusterConfig: provider: AWS region: VIRGINIA_USA tier: SP30 projectRef: name: my-project EOF
Para obtener más información sobre los parámetros disponibles, consulta el AtlasStreamWorkspace Recurso personalizado.
Nota
Actualmente, el Operador de Atlas Kubernetes sólo admite el proveedor AWS y la región VIRGINIA_USA para este recurso personalizado.
Configurar el AtlasStreamConnection Recurso Personalizado.
Puedes configurar una conexión de muestra, una conexión a un Atlas flujo de cambios, o una conexión a un sistema Apache Kafka.
Ejemplos:
apiVersion: atlas.mongodb.com/v1 kind: AtlasStreamConnection metadata: name: my-stream-connection spec: name: sample_stream_solar type: Sample
Nota
Si usted especifica Sample para el parámetro spec.type, el parámetro spec.name debe coincidir con el nombre de la colección de muestra. Actualmente, Atlas Kubernetes Operator solo es compatible con la colección de muestra sample_stream_solar para este recurso personalizado.
apiVersion: atlas.mongodb.com/v1 kind: AtlasStreamConnection metadata: name: my-stream-connection spec: name: my-stream-connection type: Cluster clusterConfig: name: my-cluster role: name: my-db-role type: CUSTOM
apiVersion: atlas.mongodb.com/v1 kind: AtlasStreamConnection metadata: name: my-stream-connection spec: name: my-stream-connection type: Kafka kafkaConfig: bootstrapServers: "comma,separated,list,of,server,addresses" authentication: mechanism: SCRAM-512 credentials: name: ref-to-creds-secret namespace: default security: protocol: SSL certificate: name: ref-to-certificate-secret namespace: default
Para obtener más información sobre los parámetros disponibles, consulta el AtlasStreamConnection Recurso personalizado.
Agrega tus conexiones al Registro de Conexiones en el AtlasStreamWorkspace Recurso Personalizado.
Ejemplo:
cat <<EOF | kubectl apply -f - apiVersion: atlas.mongodb.com/v1 kind: AtlasStreamWorkspace metadata: name: my-stream-workspace spec: name: my-stream-workspace clusterConfig: provider: AWS region: VIRGINIA_USA tier: SP30 projectRef: name: my-project connectionRegistry: - name: ref-my-connection-1 namespace: my-namespace1 - name: ref-my-connection-2 namespace: my-namespace2 - name: ref-my-connection-3 namespace: my-namespace1 EOF
Nota
Actualmente, el Operador de Atlas Kubernetes sólo admite el proveedor AWS y la región VIRGINIA_USA para este recurso personalizado.
Para obtener más información sobre los parámetros disponibles, consulta el AtlasStreamWorkspace Recurso personalizado.