Para agentes de IA: hay un índice de documentación disponible en https://www.mongodb.com/es/docs/llms.txt — versiones en markdown de todas las páginas están disponibles agregando .md a cualquier ruta URL.

Atlas Stream Processing Limitaciones

Nota

Esta página se aplica a Atlas Infinite y Atlas Core.

Se aplican las siguientes limitaciones a Atlas Stream Processing:

  • Atlas Stream Processing solo admite el procesamiento al menos una vez.

  • La plataforma Atlas Stream Processing no admite el escalado horizontal.

  • Atlas Stream Processing utiliza un solo núcleo para las etapas de pipeline de transformación, excepto para las etapas que pueden especificar un valor de parallelism.

  • Cuando habilitas escalado automático vertical, debes establecer un maxTier ya sea en el procesador o como el tamaño máximo de nivel del espacio de trabajo de Stream Processing. Si no se establece ninguno, el procesador devuelve un error y no se inicia.

  • No puede configurar los umbrales de CPU y memoria que son activador del escalado automático vertical. Atlas Stream Processing gestiona estos umbrales internamente.

  • El state.stateSize de un procesador de flujo no puede exceder el 80% de la RAM disponible para su pod. Por ejemplo, el tamaño máximo de un procesador de flujo en el nivel SP30, que tiene 8GB de RAM, es 6.4GB. Si el state.stateSize de cualquier gestor de flujo se acerca al 80% de la RAM disponible, considera detener el gestor y reiniciarlo en un nivel superior. Si tu Stream Processing processor ya se ejecuta en el nivel máximo habilitado para tu espacio de trabajo de Stream Processing, considera ajustar la configuración de tu espacio de trabajo para habilitar Stream Processing processors de nivel superior.

    Cuando un procesador de flujo supera el umbral de 80% RAM, se produce un error Worker out of memory. Puede ver el state.stateSize valor de cada procesador de flujo con el comando sp.processor.stats(). Consulta Ver estadísticas de un Procesador de flujos para obtener más información.

  • Una definición de pipeline de Atlas Stream Processing no puede superar los 16 MB.

  • Solo los usuarios con los roles Organization Stream Processing Admin, Project Owner, Project Stream Processing Owner o Atlas admin pueden usar Atlas Stream Processing.

  • Debe usar la versión 2.3.4 de mongosh o posterior para anular una opción en un procesador de flujo existente utilizando un método mongosh. Por ejemplo, usando sp.processor.start() para especificar un nivel para el procesador que está iniciando.

    Consulta Desarrolla procesadores de flujo para aprender más sobre la gestión de un procesador de flujo mediante mongosh.

  • Atlas Stream Processing admite un subconjunto de las etapas del pipeline de agregación disponibles en Atlas, lo que le permite realizar muchas de las mismas operaciones en datos en transmisión que puede realizar en datos en reposo. Para obtener una lista completa de las etapas del pipeline de agregacióncompatibles, consulta la documentación de agregación de Streams.

  • Atlas Stream Processing no admite las variables de agregación $$NOW, $$CLUSTER_TIME, $$USER_ROLES y $SEARCH_META.

  • Atlas Stream Processing no admite el guardado de documentos BSON que superen los 125 MB mediante la etapa $emit en un bucket AWS S3.

  • La etapa $iceberg admite un máximo de tres transformaciones de partición en el campo partitionedBy.

  • Para las etapas Apache Kafka $source, si el tema de Apache Kafka que actúa como $source del procesador en ejecución añade una partición, el desplazamiento inicial se determina mediante la propiedad auto_offset_reset.

  • Para Apache Kafka $source, las etapas están sujetas a los límites de partición del nivel del espacio de trabajo de Stream Processing. Si supera el límite de particiones de su nivel de espacio de trabajo de Stream Processing, el procesador de transmisión afectado falla. Debe actualizar su espacio de trabajo de Stream Processing para admitir particiones adicionales.

  • Atlas Stream Processing no admite la conexión a un consumidor de Apache Kafka en el mismo grupo de consumidores que otros consumidores. Asegúrese de que cualquier consumidor de Kafka utilizado con Atlas Stream Processing se ejecute en un grupo de consumidores dedicado.

  • Para las conexiones de Apache Kafka, Atlas Stream Processing actualmente solo admite los siguientes protocolos de seguridad:

    • SASL_PLAINTEXT

    • SASL_SSL

    • SSL

    Para SASL, Atlas Stream Processing es compatible con los siguientes mecanismos:

    • PLAIN

    • SCRAM-SHA-256

    • SCRAM-SHA-512

    • OAUTHBEARER

    Para SSL, debes proporcionar los siguientes activos para la Apache Kafka autenticación mutua TLS del sistema con Atlas Stream Processing:

    • una Autoridad Certificadora (si se utiliza una diferente de la por defecto Apache Kafka CA)

    • un certificado TLS de cliente

    • un archivo clave TLS, que se usa para firmar el certificado TLS

  • Para conexiones de Private Link a AWS MSK:

    • AWS MSK acepta conexiones entrantes solo de Amazon Web Services. Debe alojar sus espacios de trabajo de Stream Processing en Amazon Web Services.

    • Debe habilitar multi-VPC connectivity en su clúster de Amazon Web Services MSK y actualizar su política de clúster para permitir conexiones desde la cuenta de Amazon Web Services de Atlas. Para aprender más, consulte Agregar una conexión de enlace privado de Kafka y los requisitos de conectividad privada multi-VPC de Amazon Web Services.

    • Atlas Stream Processing solo admite los esquemas de autenticación IAM, SASL_SCRAM y TLS para conexiones de AWS MSK Private Link.

  • initialSync no admite colecciones cuyos valores de _id son arreglos, expresiones regulares o indefinidos, que MongoDB no admite como valores de _id.

  • Si los valores de _id de la colección son valores ObjectId generados por defecto o valores int o long ordenados, initialSync logra un rendimiento óptimo. Para otros tipos de _id, initialSync puede tardar más en completarse porque los valores no se almacenan en un orden predecible. Si el token de reanudación ya no está en el oplog cuando initialSync se completa, el procesador entra en un estado fallido para evitar la pérdida de datos. Para recuperarse, reinicie el procesador con resumeFromCheckpoint=false, lo que hace que initialSync se ejecute de nuevo. Para aprender más, consulta Puntos de control.

  • Atlas Stream Processing puede insertar nuevos documentos en una partición mientras initialSync los copia. Un error de red que interrumpe una query en una partición en crecimiento puede prolongar la fase de copia de la colección.

  • initialSync podría insertar documentos duplicados si lee un evento de cambio durante la fase de copia de colección o de puesta al día. La garantía de procesamiento de al menos una vez de Atlas Stream Processing cubre este comportamiento. Es más probable que se produzcan duplicados cuando los valores _id de su colección no son valores ObjectId o valores int o long ordenados, porque la fase de copia de la colección se ejecuta durante más tiempo y abarca más eventos de cambio.

  • Atlas Stream Processing admite procesadores de conmutación por error solo para procesadores con las siguientes configuraciones:

    • Origen y destino de Atlas

    • Atlas source y Apache Kafka sink

  • Atlas Stream Processing admite procesadores de conmutación por error solo para procesadores de nivel SP10 o superior.

  • Un espacio de trabajo de Stream Processing puede tener hasta dos regiones de conmutación por error. Las regiones de conmutación por error deben usar el mismo proveedor de nube que la región por defecto del espacio de trabajo de Stream Processing. Atlas Stream Processing no admite la conmutación por error entre nubes.

  • Para los procesadores configurados con procesadores de conmutación por error, solo un procesador puede estar activo en un momento dado. Solo puede editar el procesador activo.