Limitaciones

Se aplican las siguientes limitaciones a Atlas Stream Processing:

• Atlas Stream Processing solo admite el procesamiento al menos una vez.

• La plataforma Atlas Stream Processing no admite el escalado horizontal.

• El state.stateSize de un procesador de flujo no puede exceder el 80% de la RAM disponible para su pod. Por ejemplo, el tamaño máximo de un procesador de flujo en el nivel SP30, que tiene 8GB de RAM, es 6.4GB. Si el state.stateSize de cualquier gestor de flujo se acerca al 80% de la RAM disponible, considera detener el gestor y reiniciarlo en un nivel superior. Si tu Stream Processing processor ya se ejecuta en el nivel máximo habilitado para tu espacio de trabajo de Stream Processing, considera ajustar la configuración de tu espacio de trabajo para habilitar Stream Processing processors de nivel superior.

  Cuando un procesador de flujo supera el umbral de 80% RAM, se produce un error stream processing workspace out of memory. Puede ver el state.stateSize valor de cada procesador de flujo con el comando sp.processor.stats(). Consulta Ver estadísticas de un Procesador de flujos para obtener más información.

• Una definición de pipeline de Atlas Stream Processing no puede superar los 16 MB.

• Solo los usuarios con los roles Organization Stream Processing Admin, Project Owner, Project Stream Processing Owner o Atlas admin pueden usar Atlas Stream Processing.

• Para Atlas Stream Processing que utiliza Apache Kafka como $source, si el tema de Apache Kafka que actúa como $source del procesador en ejecución añade una partición, Atlas Stream Processing continúa ejecutándose sin leer la partición. El procesador falla cuando detecta la nueva partición después de que lo restaures desde un punto de control tras un fallo, o lo reinicies tras detenerlo. Debes recrear los procesadores que leen de los temas con las particiones recién añadidas.

• Para las conexiones de Apache Kafka, Atlas Stream Processing actualmente solo admite los siguientes protocolos de seguridad:

  • SASL_PLAINTEXT

  • SASL_SSL

  • SSL

  Para SASL, Atlas Stream Processing es compatible con los siguientes mecanismos:

  • PLAIN

  • SCRAM-SHA-256

  • SCRAM-SHA-512

  • OAUTHBEARER

  Para SSL, debes proporcionar los siguientes activos para la Apache Kafka autenticación mutua TLS del sistema con Atlas Stream Processing:

  • una Autoridad Certificadora (si se utiliza una diferente de la por defecto Apache Kafka CA)

  • un certificado TLS de cliente

  • un archivo clave TLS, que se usa para firmar el certificado TLS

• Atlas Stream Processing admite un subconjunto de las etapas del pipeline de agregación disponibles en Atlas, lo que le permite realizar muchas de las mismas operaciones en datos en transmisión que puede realizar en datos en reposo. Para obtener una lista completa de las etapas del pipeline de agregacióncompatibles, consulta la documentación de agregación de Streams.

• Atlas Stream Processing no admite las variables de agregación $$NOW, $$CLUSTER_TIME, $$USER_ROLES y $SEARCH_META.

• Atlas Stream Processing no admite la escritura de documentos BSON de más de 125 MB usando la etapa $emit en un AWS S3 bucket.

• Debe usar mongosh versión 2.3.4 o superior para anular una opción en un procesador de flujo existente utilizando un método mongosh. Por ejemplo, usando sp.processor.start() para especificar un nivel para el procesador que va a iniciar.

  Consulta Desarrolla procesadores de flujo para aprender más sobre la gestión de un procesador de flujo mediante mongosh.