Registro de cambios del procesamiento de flujos de Atlas

Añade soporte para Serialización de Avro.

Agrega soporte para integraciones con Confluent Schema Registry.

Permite escribir a través de una conexión HTTPS usando $https como etapa final en una canalización.

Añade soporte para AWS Kinesis como fuente ($source etapa) y como sumidero $emit (etapa).

Se actualizan los precios de transferencia de datos para reflejar las tarifas específicas de cada región, tanto para el procesador de flujo como para la región de destino. Para obtener más información, consulte los precios de los procesadores de flujo.

Se actualizan SP10 SP30 los precios de los procesadores de flujo de nivel y,pasando del modelo tradicional basado en trabajadores al modelo de precios por procesador. Para obtener más información, consulte los precios de los procesadores de flujo.

Reemplaza el modelo de instancia anterior con los espacios de trabajo de procesamiento de flujos de Atlas. Para obtener más información, consulte Niveles de procesamiento de flujos.

Agrega nuevos niveles de procesador de flujo: SP2, SP5 y SP50.

Agrega soporte para OIDC con autenticación JWT para conexiones Apache Kafka.

Agrega soporte para crear una canalización de procesador de flujo en la interfaz de usuario de Atlas.

Agrega soporte para el tipo de conexión de enlace privado AWS S.3

Añade el Test Connection Botón en la interfaz de usuario del Registro de conexión para iniciar una prueba de conectividad para cada conexión.

Agrega los campos tenant_name, project_name y org_name a las métricas de procesamiento de flujo de Atlas, incluidas aquellas exportadas a Datadog.

Agrega lifetime cache hit/miss estadísticas a stats.operatorStats de la $cachedLookup etapa.

Agrega soporte para la Stream Processor State métrica en la integración de Atlas Datadog.

Añade el $function operador, lo que permite la ejecución de Javascript en canales de procesamiento de flujos. Para obtener más información, consulte $function (Procesamiento de flujos).

Agrega el operador $cachedLookup que permite que los resultados $lookup se almacenen en caché durante un TTL específico para mejorar el rendimiento de datos que cambian lentamente. Para obtener más información, consulta $cachedLookup.

Añade la capacidad de que la $emit etapa envíe null valores a los temas de Kafka para facilitar la compactación de temas de Kafka $emit.config.tombstoneWhen = boolean mediante. Para obtener más información, consulte la $emit etapa de agregación (procesamiento de flujo).

Añade compatibilidad con el proyecto Cross Atlas para $source $mergey. Para obtener más información, consulte la sección "Replicar eventos de flujo de cambios entre clústeres Atlas" en la $merge referencia (Procesamiento de flujos).

Se añade compatibilidad con para $source la sincronización inicial al leer colecciones de Atlas. Para obtener más información, consulte Flujo de cambios de colecciones de MongoDB.

Se ha añadido compatibilidad con los espacios de trabajo de procesamiento de flujos para su implementación en Google Cloud. Para obtener más información, consulta las regiones de procesamiento de flujos de Google Cloud (GCP).

Añade compatibilidad con para $merge poder eliminar documentos en colecciones. Para obtener más información, consulte $merge (Procesamiento de flujos).

Añade compatibilidad con las métricas de Datadog. Para obtener más información, consulte Métricas de Datadog.

Agrega soporte para conexiones AWS S.3

Añade una nueva $sessionWindow etapa de agregación de canalización de Atlas Stream Processing que especifica una ventana de sesión para la agregación de datos. Esto permite ejecutar una canalización en cada "sesión" de actividad en un flujo de entrada. Para obtener más información, consulte $sessionWindow.

Admite clústeres Confluent Kafka alojados en Azure a través de una conexión de enlace privado.

Agrega una nueva etapa de $externalFunction Atlas Stream Processing pipeline que activa procesos en un recurso específico de AWS Lambda. Para obtener más información, consulta $externalFunction.

Admite la creación de conexiones $https en la interfaz de usuario de Atlas.

Añade el parallelism campo a $merge. Este campo especifica el número de subprocesos entre los que se distribuirán las operaciones de escritura, lo que mejora el rendimiento.

Permite crear alertas adicionales: Recuento de mensajes de salida, Recuento de mensajes DLQ, Retraso de Kafka y Retraso de flujo de cambios. Para obtener más información, consulte Alertas de procesamiento de flujos de Atlas.

Admite la expresión createUUID que no toma argumentos y devuelve valores de tipo UUID BSON en procesadores de flujo.

Añade una nueva configuración para que los operadores de ventana admitan processingTime además eventTime de. Para obtener más información, consulte Tiempo de procesamiento.

Agrega la expresión $meta que devuelve un objeto que contiene todos los metadatos de transmisión de un documento.

Añade el parseJsonStrings campo al $https operador, lo que le permite analizar cadenas JSON devueltas por una llamada a la API. Para obtener más información, consulte $https.

Le permite agregar una conexión de enlace privado de Kafka para clústeres de AWS MSK.

Permite implementar Workspaces de Stream Processing en AWS us-east-2. Para obtener más información, consulta Atlas Stream Processing Regions.

Admite la expresión $currentDate que devuelve la hora del sistema de su espacio de trabajo de procesamiento de flujo cada vez que Atlas Stream Processing lo evalúa.

Admite la lectura de documentos JSON con firmas de archivo integradas (bytes mágicos).

Corrige un problema que impedía la configuración de ventanas de salto con hopSize mayor que interval.

Cambia la executionTimeSecs estadística executionTimeMillis a. Para ver esta estadística, invoque el sp.processor.stats() comando.

Cambia la duración del almacenamiento en búfer para la $emit etapa de agregación (procesamiento de flujo) en los receptores de Apache Kafka de 1000 milisegundos a cinco milisegundos.

Admite VPC emparejamiento con Confluent en AWS.

Admite el uso de la API de administración de Atlas para editar procesadores de flujo.

Admite AWS PrivateLink con Confluent.

Soporta Azure Private Link con EventHubs.

Incrementa el Timeout de Apache Kafka de 10 segundos a 30 segundos.

Siempre vuelve a intentar los procesadores cuando el clúster de destino está en el estado REPAIRING.

Corrige el partitionIdleTimeout después de la restauración del punto de control.

Agrega más información de marca de agua y ventana a las estadísticas detalladas.

Asegura que las llamadas para producir mensajes a Apache Kafka no se queden bloqueadas indefinidamente, incluso cuando la cola del productor esté llena.

Admite la ingesta de fuentes Apache Kafka multitemáticas.

Actualizaciones Apache Kafka offsets para grupos de consumidores casi en tiempo real.

Admite las compression.type acks configuraciones y en la configuración $emit de Apache Kafka.

Admite la sintaxis $lookup sin colección.

Estandariza la forma en que Atlas Stream Processing serializa los errores de Apache Kafka en una cadena.

Aumenta el límite de expresiones dinámicas $emit y $merge 1000 a.

Maneja $lookup con único connectionName dentro de la tubería de ventana.

Mejora los errores de clúster en pausa.

Permite convertir datos a Binary varios tipos de datos mediante $convert. Esto permite transformar los encabezados de Kafka en tipos de datos específicos según sea necesario.

Los procesadores de flujo que utilizan Apache Kafka como fuente exponen marcas de agua por partición sp.processor.stats() en.

Corrige un error en el que los usuarios no podían crear espacios de trabajo de procesamiento de transmisiones en ciertas regiones a través de la API.