Limitaciones

Las siguientes limitaciones se aplican al procesamiento de flujo Atlas:

• Atlas Stream Processing solo admite el procesamiento al menos una vez.

• Atlas Stream Processing no admite el escalamiento horizontal.

• La state.stateSize de un procesador de flujo no puede superar el 80% de la RAM disponible para su pod. Por ejemplo, el tamaño máximo de un procesador de streaming en el nivel SP30, que dispone de 8GB de RAM, es 6.4GB. Si el state.stateSize de cualquiera de tus procesadores de flujo se está acercando al 80% de su RAM disponible, considera detener el procesador y reiniciarlo en un nivel superior. Si tu Stream Processing processor ya se ejecuta en el nivel máximo habilitado para tu espacio de trabajo de Stream Processing, considera ajustar la configuración de tu espacio de trabajo para habilitar Stream Processing processors de nivel superior.

  Cuando un procesador de flujos cruza el umbral de 80% de RAM, falla con un error stream processing workspace out of memory. Puedes ver el valor state.stateSize de cada procesador de flujo con el comando sp.processor.stats(). Ver Consulta las estadísticas de un procesador de flujo para aprender más información.

• Una definición de pipeline de Atlas Stream Processing no puede superar los 16 MB.

• Sólo los usuarios con el Organization Stream Processing Admin, Project Owner, Project Stream Processing Owner o Atlas admin los roles pueden usar Atlas Stream Processing.

• Para Atlas Stream Processing usando Apache Kafka como un $source, si el Apache Kafka tema que actúa como $source para el procesador en ejecución añade una partición, Atlas Stream Processing continúa ejecutándose sin leer la partición. El gestor de procesos falla cuando detecta la nueva partición después de restaurarla desde un punto de control tras un fallo, o cuando la reinicia después de haberla detenido. Debe volver a crear los procesadores que leen de los temas con las particiones recién añadidas.

• Para las conexiones de Apache Kafka, Atlas Stream Processing actualmente solo admite los siguientes protocolos de seguridad:

  • SASL_PLAINTEXT

  • SASL_SSL

  • SSL

  Para SASL, Atlas Stream Processing es compatible con los siguientes mecanismos:

  • PLAIN

  • SCRAM-SHA-256

  • SCRAM-SHA-512

  • OAUTHBEARER

  Para SSL, debes proporcionar los siguientes activos para la Apache Kafka autenticación mutua TLS del sistema con Atlas Stream Processing:

  • una Autoridad Certificadora (si se utiliza una diferente de la por defecto Apache Kafka CA)

  • un certificado TLS de cliente

  • un archivo de clave TLS, utilizado para firmar su certificado TLS

• Atlas Stream Processing actualmente es compatible con $function JavaScript UDFs solo en AWS.

• Atlas Stream Processing admite un subconjunto de las etapas del pipeline de agregación disponibles en Atlas, lo que le permite realizar muchas de las mismas operaciones en datos en transmisión que puede realizar en datos en reposo. Para obtener una lista completa de las etapas del pipeline de agregacióncompatibles, consulta la documentación de agregación de Streams.

• Atlas Stream Processing no admite las variables de agregación $$NOW, $$CLUSTER_TIME, $$USER_ROLES y $SEARCH_META.

• Atlas Stream Processing no permite la escritura de documentos BSON mayores que 125 MB usando la etapa $emit a un bucket de AWS S3.

• Debe usar mongosh versión 2.3.4 o superior para anular una opción en un procesador de flujo existente utilizando un método mongosh. Por ejemplo, usando sp.processor.start() para especificar un nivel para el procesador que va a iniciar.

  Consulte Desarrollar procesadores de flujo para obtener más información sobre cómo administrar un procesador de flujo mongosh utilizando.