Puede usar Atlas Kubernetes Operator para administrar los espacios de trabajo de procesamiento de flujos y las conexiones para Atlas Stream Processing. Atlas Stream Processing le permite procesar flujos de datos complejos utilizando el mismo... API de consultas de MongoDB que utilizan las bases de datos Atlas. El procesamiento de flujos de Atlas permite realizar las siguientes tareas:
Cree canales de agregación para operar de manera continua con datos en tiempo real sin los retrasos inherentes al procesamiento por lotes.
Realice una validación de esquema continua para verificar que los mensajes estén formados correctamente, detectar daños en los mensajes y detectar datos que llegan tarde.
Publicar resultados continuamente en colecciones de Atlas o Apache Kafka clústeres, garantizando vistas y análisis de datos actualizados.
Los componentes de Atlas Stream Processing pertenecen directamente a los proyectos Atlas y funcionan independientemente de los clústeres Atlas. Para obtener más información, consulte what-is-atlas-sp.
Espacios de trabajo y conexiones de procesamiento de flujo
Los espacios de trabajo de procesamiento de flujos de Atlas proporcionan el contexto para todas sus operaciones con datos de flujo. Puede configurar una conexión de muestra, una conexión a un flujo de cambios de Atlas o una conexión a un sistema Apache Kafka. Después, puede agregar la conexión al Registro de Conexiones de su espacio de trabajo de procesamiento de flujos. Para obtener más información, consulte Administrar espacios de trabajo de procesamiento de flujos.
Requisitos previos
Para utilizar Atlas Kubernetes Operator para administrar espacios de trabajo y conexiones de procesamiento de transmisiones, debe:
Tener un usuario Atlas con la
Project Ownero el rolProject Stream Processing Ownerpara administrar un Registro de Conexión y un Espacio de Trabajo de Procesamiento de Flujos. Para obtener más información sobre las diferencias entre ambos roles, consulte Roles de Proyecto.Tener un clúster de Kubernetes en ejecución con Atlas Kubernetes Operator desplegado.
Asegúrese de que su La direcciónIP está en la lista de acceso API de la organización.
Procedimiento
Para utilizar Atlas Kubernetes Operator para administrar un espacio de trabajo de procesamiento de flujo y sus conexiones, realice los siguientes pasos:
Configurar el AtlasStreamWorkspace recurso personalizado.
Ejemplo:
cat <<EOF | kubectl apply -f - apiVersion: atlas.mongodb.com/v1 kind: AtlasStreamWorkspace metadata: name: my-stream-workspace spec: name: my-stream-workspace clusterConfig: provider: AWS region: VIRGINIA_USA tier: SP30 projectRef: name: my-project EOF
Para obtener más información sobre los parámetros disponibles, consulte el AtlasStreamWorkspace recurso personalizado.
Nota
Actualmente, Atlas Kubernetes Operator solo admite el proveedor AWS y la región VIRGINIA_USA para este recurso personalizado.
Configurar el AtlasStreamConnection recurso personalizado.
Puede configurar una conexión de muestra, una conexión a un flujo de cambios de Atlas o una conexión a un sistema Apache Kafka.
Ejemplos:
apiVersion: atlas.mongodb.com/v1 kind: AtlasStreamConnection metadata: name: my-stream-connection spec: name: sample_stream_solar type: Sample
Nota
Si usted especifica Sample para el parámetro spec.type, el parámetro spec.name debe coincidir con el nombre de la colección de muestra. Actualmente, Atlas Kubernetes Operator solo es compatible con la colección de muestra sample_stream_solar para este recurso personalizado.
apiVersion: atlas.mongodb.com/v1 kind: AtlasStreamConnection metadata: name: my-stream-connection spec: name: my-stream-connection type: Cluster clusterConfig: name: my-cluster role: name: my-db-role type: CUSTOM
apiVersion: atlas.mongodb.com/v1 kind: AtlasStreamConnection metadata: name: my-stream-connection spec: name: my-stream-connection type: Kafka kafkaConfig: bootstrapServers: "comma,separated,list,of,server,addresses" authentication: mechanism: SCRAM-512 credentials: name: ref-to-creds-secret namespace: default security: protocol: SSL certificate: name: ref-to-certificate-secret namespace: default
Para obtener más información sobre los parámetros disponibles, consulte el AtlasStreamConnection recurso personalizado.
Agrega tus conexiones al Registro de Conexiones en el AtlasStreamWorkspace Recurso Personalizado.
Ejemplo:
cat <<EOF | kubectl apply -f - apiVersion: atlas.mongodb.com/v1 kind: AtlasStreamWorkspace metadata: name: my-stream-workspace spec: name: my-stream-workspace clusterConfig: provider: AWS region: VIRGINIA_USA tier: SP30 projectRef: name: my-project connectionRegistry: - name: ref-my-connection-1 namespace: my-namespace1 - name: ref-my-connection-2 namespace: my-namespace2 - name: ref-my-connection-3 namespace: my-namespace1 EOF
Nota
Actualmente, Atlas Kubernetes Operator solo admite el proveedor AWS y la región VIRGINIA_USA para este recurso personalizado.
Para obtener más información sobre los parámetros disponibles, consulte el AtlasStreamWorkspace recurso personalizado.