Atlas Stream Processing Changelog

Agrega soporte de disponibilidad general para escribir en tablas de Apache Iceberg usando la $iceberg etapa de agregación. Para obtener más información, consulte $iceberg.

Agrega compatibilidad con la conmutación por error regional. Para obtener más información, consulte Procesadores de conmutación por error.

Renueva por completo la interfaz de usuario para crear y editar un procesador de flujo. Para obtener más información, consulte Crear un procesador de flujo.

Agrega acceso de solo lectura a la Edit Connection página para las conexiones en uso desde una entrada del registro de conexiones. Un banner indica que debe detener los procesadores que usan la conexión antes de realizar cualquier cambio. Anteriormente, era necesario detener los procesadores que usaban la conexión para ver sus detalles. Para obtener más información, consulte Ver conexiones en el registro de conexiones.

Mejora los mensajes de error al crear una canalización en la interfaz de usuario de Atlas.

Agrega soporte para colecciones initialSync múltiples. Para obtener más información, consulte MongoDB Collection Change Stream.

Agrega un addedParallelism campo a que informa el sp.processor.stats() paralelismo adicional que el procesador de flujo ha configurado, igual al paralelismo máximo definido por su nivel de procesador de flujo.

Agrega la capacidad de cambiar el nivel de un procesador de flujo en. Para obtener más mongosh información,sp.processor.modify() consulte.

Agrega la capacidad de cambiar el nivel de un espacio de trabajo de Stream Processing en la Interfaz de Usuario de Atlas.

Agrega enlaces directos a Visual Builder y JSON editor en las tarjetas de espacios de trabajo de Stream Processing vacíos.

Corrige un error en el que los nombres de conexión podían contener caracteres especiales distintos de ., -, * y _.

Corrige un error en el que el punto final Obtener un procesador de flujo devuelve un HTTP 400 en lugar de un 404 cuando el procesador de flujo no existe.

Integra una mejora en el manejo de la memoria de initialSync.

Agrega soporte para brazilsouth y australiaeast en Azure, eu-west-3 en AWS, y us-east4 en las regiones de Google Cloud.

Agrega soporte para redes privadas en las conexiones de Almacenamiento de Blobs de Azure. Para obtener más información, consulte Agregar una conexión privada de Azure Blob Storage (Private Link).

Corrige un problema que devolvía un código de estado HTTP incorrecto cuando no se encontraba un espacio de trabajo.

Agrega una visualización del costo de AWS PrivateLink para las conexiones de AWS Kinesis y S3 en la interfaz de usuario de Atlas.

Corrige un problema de la interfaz de usuario en el que los costos de GCP Private Service Connect no se mostraban correctamente para los espacios de trabajo de Google Cloud.

Remueve los paneles de consumo de mensajes de origen y entrega de mensajes de destino en la Interfaz de Usuario de métricas del procesador de streaming cuando el origen o el destino no admiten estadísticas por destino.

Corrige un campo no válido en la plantilla de destino de Kinesis en Pipeline Visual Builder.

Agrega una opción tier al endpoint Crear un procesador único de flujo en la Atlas Administration API.

Integra correcciones para las estadísticas de latencia para $lookup cuando no se utiliza paralelismo.

Añade el objeto metricThreshold y desaprueba el objeto heredado threshold para solucionar problemas de creación de recursos en Terraform sin interrumpir la compatibilidad con versiones anteriores.

Agrega soporte para Google Cloud Pub/Sub como destino. Para aprender más, consulta Conexiones de Google Cloud Pub/Sub.

Agrega soporte para cargar definiciones de procesadores directamente desde archivos locales .json utilizando un nuevo botón Upload file en la página de interfaz de usuario del Editor de JSON.

Agrega soporte para Azure Blob Storage como destino. Para aprender más, vea Azure Blob almacenamiento ($emit etapa) y Conexiones con Azure Blob almacenamiento.

Reemplaza el ícono de prueba por un botón TEST etiquetado para las conexiones de muestra, Apache Kafka y Atlas.

Bloquea la eliminación de clústeres que los procesadores de flujo aún referencian.

Permite cambiar la autenticación de conexión de Apache Kafka entre PLAIN y OIDC en el registro de conexión.

Agrega validación adicional para los nombres de host del servidor de inicio de Apache Kafka.

Habilita por defecto la auditoría de flujos a nivel de proyecto y remueve la opción Streams Auditing de la página Database & Network Access > Security > Advanced en la interfaz de usuario de Atlas. Los registros de auditoría ahora están siempre activados y no se pueden eliminar para cumplir con las expectativas de seguridad y cumplimiento. Para obtener más información sobre la auditoría de Atlas Stream Processing, consulta Acceso y auditoría de Atlas Stream Processing.

Agrega un estado en tiempo real (Ready, Pending, Failed, Deleting) a la interfaz de usuario de Atlas cuando visualización de conexiones en el registro de conexiones.

Agrega soporte para las conexiones de AWS Kinesis como opciones de origen y destino cuando creas un procesador de flujo en la Interfaz de Usuario de Atlas.

Agrega soporte para el endpoint Descargar registros operativos de One Atlas Stream Processing Workspace en la API de administración de Atlas para descargar registros operativos de workspaces o procesadores de flujo de Atlas Stream Processing.

Corrige un problema que marcaba prematuramente las conexiones de streams como Ready mientras aún se estaba aprovisionando el clúster Atlas subyacente.

Corrige un problema en el que la acción modifyStreamProcessor no estaba disponible para la asignación de roles.

Mejora el manejo de errores para las operaciones de inicio, detención y borrar de procesadores de flujo.

Mejora la validación para las conexiones de Azure Event Hub para garantizar que solo se acepten URIs válidos de Namespace ARM.

Agrega soporte para la serialización Avro.

Añade soporte para integraciones con Confluent Schema Registry.

Permite escribir a través de una conexión HTTPS utilizando $https como una etapa final en una pipeline.

Agrega soporte para AWS Kinesis como fuente (etapa $source) y como hundidor (etapa $emit).

Actualiza los precios de la transferencia de datos para reflejar las tarifas específicas de la región, tanto para el procesador de flujo como para la región de destino. Para obtener más información, consulta los precios de los procesadores de flujo.

Actualiza la tarifa de los procesadores de flujo de los niveles SP10 y SP30 del modelo basado en trabajadores legado al modelo de tarificación por procesador. Para obtener más información, consulta precios de procesadores de streaming.

Sustituye el modelo de instancia anterior por los espacios de trabajo de Atlas Stream Processing. Para aprender más, se puede consultar Niveles de Stream Processing.

Agrega nuevos niveles de procesadores de flujo: SP2, SP5 y SP50.

Agrega soporte para OIDC con autenticación JWT para Apache Kafka conexiones.

Agrega soporte para crear una pipeline de procesamiento de flujos en Atlas Interfaz de Usuario.

Agrega compatibilidad con el tipo de conexión de enlace privado AWS S3.

Agrega el botón Test Connection en la interfaz de usuario del Registro de conexiones para iniciar una prueba de conectividad para cada conexión.

Añade los campos tenant_name, project_name y org_name a las métricas de Atlas Stream Processing, incluyendo las exportadas a Datadog.

Añade lifetime cache hit/miss estadísticas a las stats.operatorStats de la etapa $cachedLookup.

Agrega soporte para la métrica Stream Processor State en la integración de Atlas Datadog.

Agrega el operador $function, lo que permite la ejecución de JavaScript en pipelines de Stream Processing. Para obtener más información, consulte $function (Stream Processing).

Agrega el operador $cachedLookup que permite que los resultados $lookup se almacenen en caché durante un TTL específico para mejorar el rendimiento de datos que cambian lentamente. Para obtener más información, consulta $cachedLookup.

Añade la capacidad para que la etapa $emit envíe valores null a temas de Kafka para soportar la compactación de temas de Kafka utilizando $emit.config.tombstoneWhen = boolean. Para aprender más, vea $emit Etapa de agregación (Stream Processing).

Añade soporte para Cross Atlas Proyecto en $source y $merge. Para obtener más información, consulte la sección Replicar los eventos de Change Stream entre Clústeres Atlas en la referencia $merge (Stream Processing).

Agrega soporte para $source para admitir la Sincronización Inicial al leer desde colecciones Atlas. Para aprender más información, consulta MongoDB Change Stream de la colección.

Añade soporte para Workspaces de Stream Processing e implementarlos en Google Cloud. Para obtener más información, consulta Google Cloud (GCP) Stream Processing Regions.

Añade soporte para que $merge pueda borrar documentos en colecciones. Para obtener más información, consulta $merge (Stream Processing).

Agrega compatibilidad con métricas de Datadog. Para aprender más, consulta DataDog métricas.

Añade soporte para conexiones AWS S3.

Agrega una nueva $sessionWindow etapa de agregación de la pipeline de Atlas Stream Processing que especifica una ventana de sesión para la agregación de datos. Esto te permite ejecutar una pipeline en cada "sesión" de actividad en una secuencia de entrada. Para obtener más información, consulte $sessionWindow.

Admite clústeres de Confluent Kafka alojados en Azure a través de una conexión Private Link.

Agrega una nueva etapa de $externalFunction Atlas Stream Processing pipeline que activa procesos en un recurso específico de AWS Lambda. Para obtener más información, consulta $externalFunction.

Admite crear conexiones $https en la interfaz de usuario de Atlas.

Agrega el campo parallelism a $merge. El campo especifica el número de hilos a los que se deben distribuir las operaciones de escritura, lo que mejora el rendimiento.

Te permite crear alertas adicionales: Cuenta de Mensajes de Salida, Cuenta de Mensajes DLQ, Retraso de Kafka y Retraso de Change Stream. Para obtener más información, consulte Alertas de Stream Processing en Atlas.

Soporta la expresión createUUID que no acepta argumentos y devuelve valores de tipo BSON UUID en procesadores de secuencias.

Agrega una nueva configuración para que los operadores de ventana soporten processingTime además de eventTime. Para aprender más, consulta Tiempo de procesamiento.

Agrega la expresión $meta que devuelve un objeto que contiene todos los metadatos de transmisión de un documento.

Agrega el campo parseJsonStrings al operador $https, permitiéndole analizar cadenas JSON devueltas por una llamada API. Para obtener más información, consulta $https.

Permite añadir una conexión privada de Kafka para clústeres de AWS MSK.

Permite implementar Workspaces de Stream Processing en AWS us-east-2. Para obtener más información, consulta Atlas Stream Processing Regions.

Admite la expresión $currentDate que devuelve la hora del sistema de tu espacio de trabajo de stream processing cada vez que Atlas Stream Processing la evalúa.

Admite la lectura de documentos JSON con firmas de archivos incrustadas (bytes mágicos).

Soluciona un problema que impedía la configuración de ventanas de salto con hopSize mayor que interval.

Cambia la estadística executionTimeSecs a executionTimeMillis. Para ver esta estadística, invoca el comando sp.processor.stats().

Cambia la duración de almacenamiento en búfer para la $emit etapa de agregación (Stream Processing) a Apache Kafka sinks de 1000 milisegundos a cinco milisegundos.

Admite el VPC emparejamiento con Confluent en AWS.

Admite el uso de la API de administración de Atlas para editar procesadores de transmisión.

Admite AWS PrivateLink con Confluent.

Soporta Azure Private Link con EventHubs.

Incrementa el Timeout de Apache Kafka de 10 segundos a 30 segundos.

Siempre reintenta los procesadores cuando el clúster de destino está en el estado REPAIRING.

Corrige el partitionIdleTimeout después de restaurar el punto de control.

Agrega más información de marca de agua y ventana a las estadísticas detalladas.

Asegura que las llamadas para producir mensajes a Apache Kafka no se queden bloqueadas indefinidamente, incluso cuando la cola del productor esté llena.

Admite la ingestión de fuentes multitópico Apache Kafka.

Actualizaciones Apache Kafka offsets para grupos de consumidores casi en tiempo real.

Admite los ajustes compression.type y acks en la configuración de Apache Kafka $emit.

Admite la sintaxis de $lookup sin colecciones.

Estandariza la forma en que Atlas Stream Processing serializa los errores de Apache Kafka en un string.

Incrementa el límite de la expresión dinámica $emit y $merge a 1000.

Maneja $lookup con connectionName únicos dentro del pipeline de ventana.

Mejora los errores de clúster en pausa.

Permite convertir datos de Binary a varios tipos de datos utilizando $convert. Esto te permite transformar los encabezados de Kafka en tipos de datos específicos según lo necesites.

Los procesadores de flujo que utilizan Apache Kafka como fuente exponen marcas de agua por partición en sp.processor.stats().

Se soluciona un error en el que los usuarios no podían crear espacios de trabajo de Stream Processing en ciertas regiones mediante la API.