Atlas Stream Processing Changelog

Habilita la auditoría de streams a nivel de proyecto por defecto y remueve el Streams Auditing Alterne desde la página Database & Network Access > Security > Advanced en la interfaz de usuario de Atlas. Los registros de auditoría ahora están siempre activos y no se pueden eliminar para cumplir con las expectativas de seguridad y cumplimiento. Para obtener más información sobre la auditoría de Atlas Stream Processing, consulte Atlas Stream Processing Acceso y Auditoría.

Agrega un estado en tiempo real (Ready, Pending, Failed, Deleting) a la Interfaz de Usuario de Atlas cuando veas las conexiones en el registro de conexiones.

Agrega soporte para las conexiones de AWS Kinesis como opciones de origen y destino cuando creas un procesador de flujo en la Interfaz de Usuario de Atlas.

Añade soporte para el/la Descargar registros operativos para un espacio de trabajo de procesamiento de flujos (Stream Processing) de One Atlas endpoint en la API de administración de Atlas para descargar registros operativos para espacios de trabajo o procesadores de flujos de Atlas Stream Processing.

Corrige un problema que marcaba prematuramente las conexiones de flujo como Ready mientras el clúster Atlas subyacente aún se estaba aprovisionando.

Corrige un problema en el que la acción modifyStreamProcessor no estaba disponible para la asignación de roles.

Mejora el manejo de errores para las operaciones de inicio, detención y borrar de procesadores de flujo.

Mejora la validación para las conexiones de Azure Event Hub para garantizar que solo se acepten URIs válidos de Namespace ARM.

Agrega soporte para serialización Avro.

Añade soporte para integraciones con Confluent Schema Registry.

Permite escribir a través de una conexión HTTPS utilizando $https como una etapa final en una pipeline.

Añade soporte para AWS Kinesis como origen (etapa $source) y como sumidero (etapa $emit).

Se actualizan los precios de transferencia de datos para reflejar las tarifas específicas de cada región, tanto para el procesador de flujo como para la región de destino. Para obtener más información, consulte los precios de los procesadores de flujo.

Actualiza los precios de los procesadores de flujos de nivel SP10 y SP30 del modelo heredado basado en operarios al modelo de precios por procesador. Para obtener más información, consulte precios de stream processors.

Reemplaza el modelo de instancia anterior con los espacios de trabajo de procesamiento de flujos de Atlas. Para obtener más información, consulte Niveles de procesamiento de flujos.

Agrega nuevos niveles de procesadores de flujo: SP2, SP5 y SP50.

Agrega soporte para OIDC con autenticación JWT para Apache Kafka conexiones.

Agrega soporte para crear una pipeline de procesamiento de flujos en Atlas Interfaz de Usuario.

Agrega soporte para el tipo de conexión de enlace privado AWS S3.

Agrega el botón Test Connection en la interfaz de usuario del Registro de conexiones para iniciar una prueba de conectividad para cada conexión.

Añade los campos tenant_name, project_name y org_name a las métricas de Atlas Stream Processing, incluyendo las exportadas a Datadog.

Agrega lifetime cache hit/miss estadísticas a stats.operatorStats de la $cachedLookup etapa.

Agrega soporte para la métrica Stream Processor State en la integración de Atlas Datadog.

Agrega el operador $function, lo que permite la ejecución de JavaScript en pipelines de Stream Processing. Para obtener más información, consulte $function (Stream Processing).

Agrega el operador $cachedLookup que permite que los resultados $lookup se almacenen en caché durante un TTL específico para mejorar el rendimiento de datos que cambian lentamente. Para obtener más información, consulta $cachedLookup.

Añade la capacidad para que la etapa $emit envíe valores null a temas de Kafka para soportar la compactación de temas de Kafka utilizando $emit.config.tombstoneWhen = boolean. Para aprender más, vea $emit Etapa de agregación (Stream Processing).

Añade soporte para Cross Atlas Proyecto en $source y $merge. Para obtener más información, consulte la sección Replicar los eventos de Change Stream entre Clústeres Atlas en la referencia $merge (Stream Processing).

Agrega soporte para $source para admitir la Sincronización Inicial al leer desde colecciones Atlas. Para aprender más información, consulta MongoDB Change Stream de la colección.

Añade soporte para Workspaces de Stream Processing e implementarlos en Google Cloud. Para obtener más información, consulta Google Cloud (GCP) Stream Processing Regions.

Añade soporte para que $merge pueda borrar documentos en colecciones. Para obtener más información, consulta $merge (Stream Processing).

Añade compatibilidad con las métricas de Datadog. Para obtener más información, consulte Métricas de Datadog.

Añade soporte para conexiones AWS S3.

Agrega una nueva $sessionWindow etapa de agregación de la pipeline de Atlas Stream Processing que especifica una ventana de sesión para la agregación de datos. Esto te permite ejecutar una pipeline en cada "sesión" de actividad en una secuencia de entrada. Para obtener más información, consulte $sessionWindow.

Admite clústeres Confluent Kafka alojados en Azure a través de una conexión de enlace privado.

Agrega una nueva etapa de $externalFunction Atlas Stream Processing pipeline que activa procesos en un recurso específico de AWS Lambda. Para obtener más información, consulta $externalFunction.

Admite la creación de conexiones $https en la interfaz de usuario de Atlas.

Agrega el campo parallelism a $merge. El campo especifica el número de hilos a los que se deben distribuir las operaciones de escritura, lo que mejora el rendimiento.

Permite crear alertas adicionales: Recuento de mensajes de salida, Recuento de mensajes DLQ, Retraso de Kafka y Retraso de flujo de cambios. Para obtener más información, consulte Alertas de procesamiento de flujos de Atlas.

Admite la expresión createUUID que no toma argumentos y devuelve valores de tipo UUID BSON en procesadores de flujo.

Agrega una nueva configuración para que los operadores de ventana soporten processingTime además de eventTime. Para aprender más, consulta Tiempo de procesamiento.

Agrega la expresión $meta que devuelve un objeto que contiene todos los metadatos de transmisión de un documento.

Agrega el campo parseJsonStrings al operador $https, permitiéndole analizar cadenas JSON devueltas por una llamada API. Para obtener más información, consulta $https.

Permite añadir una conexión privada de Kafka para clústeres de AWS MSK.

Permite implementar Workspaces de Stream Processing en AWS us-east-2. Para obtener más información, consulta Atlas Stream Processing Regions.

Admite la expresión $currentDate que devuelve la hora del sistema de tu espacio de trabajo de stream processing cada vez que Atlas Stream Processing la evalúa.

Admite la lectura de documentos JSON con firmas de archivo integradas (bytes mágicos).

Corrige un problema que impedía la configuración de ventanas de salto con hopSize mayor que interval.

Cambia la estadística executionTimeSecs a executionTimeMillis. Para ver esta estadística, invoca el comando sp.processor.stats().

Cambia la duración de almacenamiento en búfer para la $emit etapa de agregación (Stream Processing) a Apache Kafka sinks de 1000 milisegundos a cinco milisegundos.

Admite VPC emparejamiento con Confluent en AWS.

Admite el uso de la API de administración de Atlas para editar procesadores de flujo.

Admite AWS PrivateLink con Confluent.

Soporta Azure Private Link con EventHubs.

Incrementa el Timeout de Apache Kafka de 10 segundos a 30 segundos.

Siempre vuelve a intentar los procesadores cuando el clúster de destino está en el estado REPAIRING.

Corrige el partitionIdleTimeout después de restaurar el punto de control.

Agrega más información de marca de agua y ventana a las estadísticas detalladas.

Asegura que las llamadas para producir mensajes a Apache Kafka no se queden bloqueadas indefinidamente, incluso cuando la cola del productor esté llena.

Admite la ingesta de fuentes Apache Kafka multitemáticas.

Actualizaciones Apache Kafka offsets para grupos de consumidores casi en tiempo real.

Admite los ajustes compression.type y acks en la configuración de Apache Kafka $emit.

Admite la sintaxis de $lookup sin colecciones.

Estandariza la forma en que Atlas Stream Processing serializa los errores de Apache Kafka en una cadena.

Incrementa el límite de la expresión dinámica $emit y $merge a 1000.

Maneja $lookup con connectionName únicos dentro del pipeline de ventana.

Mejora los errores de clúster en pausa.

Permite convertir datos a Binary varios tipos de datos mediante $convert. Esto permite transformar los encabezados de Kafka en tipos de datos específicos según sea necesario.

Los procesadores de flujo que utilizan Apache Kafka como fuente exponen marcas de agua por partición en sp.processor.stats().

Corrige un error en el que los usuarios no podían crear espacios de trabajo de procesamiento de transmisiones en ciertas regiones a través de la API.