Limitaciones

Las siguientes limitaciones se aplican al procesamiento de flujo Atlas:

• El state.stateSize El tamaño máximo de un procesador de flujo no puede superar el 80% de la RAM disponible para su pod. Por ejemplo, el tamaño máximo de un procesador de flujo en el nivel SP30, que tiene 8GB de RAM, es de 6.4GB. Si el state.stateSize de cualquiera de sus procesadores de flujo se acerca al 80% de su RAM disponible, considere detenerlo y reiniciarlo en un nivel superior. Si su procesador de flujo ya se ejecuta al nivel máximo habilitado para su espacio de trabajo de procesamiento de flujo, considere ajustar la configuración de dicho espacio para habilitar procesadores de flujo de nivel superior.

  Cuando un procesador de flujo supera el umbral de RAM del 80%, falla con un error stream processing workspace out of memory. Puede ver el valor state.stateSize de cada procesador de flujo con el comando sp.processor.stats(). Consulte Vea las estadísticas de un procesador de flujo para obtener más información.

• Un espacio de trabajo de procesamiento de flujo solo puede usar clústeres en el mismo proyecto como fuentes o receptores.

• Una definición de canalización de procesamiento de flujo de Atlas no puede superar los 16 MB.

• Solo los usuarios Organization Stream Processing Admin Project Ownercon,, Project Stream Processing Owner o Atlas admin Los roles pueden utilizar Atlas Stream Processing.

• Para el procesamiento de flujos de Atlas con Apache KafkaComo $source, si el tema de Apache Kafka que actúa como $source para el procesador en ejecución agrega una partición, Atlas Stream Processing continúa ejecutándose sin leerla. El procesador falla cuando detecta la nueva partición después de restaurarla desde un punto de control tras un fallo, o al reiniciarla tras detenerla. Debe volver a crear los procesadores que leen de los temas con las particiones recién agregadas.

• Para las conexiones Apache Kafka, Atlas Stream Processing actualmente solo admite los siguientes protocolos de seguridad:

  • SASL_PLAINTEXT

  • SASL_SSL

  • SSL

  Para SASL, Atlas Stream Processing admite los siguientes mecanismos:

  • PLAIN

  • SCRAM-SHA-256

  • SCRAM-SHA-512

  • OAUTHBEARER

  SSLPara, debe proporcionar los siguientes activos para la autenticación TLS mutua de su sistema Apache Kafka con Atlas Stream Processing:

  • una autoridad de certificación (si está utilizando una distinta a la CA predeterminada de Apache Kafka)

  • un certificado TLS de cliente

  • un archivo de clave TLS, utilizado para firmar su certificado TLS

• Atlas Stream Processing actualmente admite $function JavaScript Solo UDF en AWS.

• Atlas Stream Processing admite un subconjunto de las etapas de canalización de agregación disponibles en Atlas, lo que permite realizar muchas de las mismas operaciones con datos en streaming que con datos en reposo. Para obtener una lista completa de las etapas de canalización de agregación compatibles, consulte la documentación de Agregación de Streams.

• Atlas Stream Processing no admite las variables de agregación $$NOW, $$CLUSTER_TIME, $$USER_ROLES y $SEARCH_META.

• Atlas Stream Processing no admite la escritura de documentos BSON más grandes que 125 MB mediante la etapa $emit en un bucket de AWS S.3