Atlas Stream Processing proporciona monitoreo y alertas para que los usuarios puedan aprovechar la información sobre el rendimiento y el estado para refinar sus flujos de trabajo.
Supervisar los espacios de trabajo del procesador de flujo en la interfaz de usuario de Atlas
Para cada uno de sus espacios de trabajo de procesamiento de flujo, puede monitorear sus procesadores de flujo en la interfaz de usuario de Atlas:
En Atlas, vaya a la Stream Processing Página para su proyecto.
Si aún no aparece, se debe seleccionar la organización que contiene el proyecto en el menú Organizations de la barra de navegación.
Si aún no se muestra, seleccione su proyecto en el menú Projects de la barra de navegación.
En la barra lateral, haz clic en Stream Processing en la sección Streaming Data.
El Se muestra la página deprocesamiento de flujo.
Haga Monitoring clic en la pestaña.
La pestaña Monitoring muestra una variedad de estadísticas de tiempo de ejecución sobre un procesador de flujo de su elección, que incluyen, entre otras:
Número de mensajes ingeridos
Número de mensajes procesados con éxito
Número de mensajes enviados a su Cola de cartas muertas
Si su conexión de origen es Apache Kafka, puede monitorear el retraso entre el desplazamiento actual y el último desplazamiento en el intermediario para la partición de un tema y la suma de todos los retrasos de la partición.
Métodos de supervisión del procesador de flujos
Atlas Stream Processing ofrece los siguientes métodos para generar informes a pedido sobre sus procesadores de flujo:
El método sp.processor.sample() permite ver una pequeña muestra de los documentos generados por un procesador de flujo de su elección que esté en ejecución. Los usuarios pueden comparar los resultados muestreados con los esperados para diagnosticar cualquier error en el diseño de su canal de agregación.
El método sp.processor.stats() devuelve una variedad de estadísticas de tiempo de ejecución sobre un procesador de flujo de su elección, que incluyen, entre otras:
Número de mensajes ingeridos
Número de mensajes procesados con éxito
Número de mensajes enviados a su cola de mensajes no entregados
Tamaño en memoria del estado de su canalización
Definición de tubería
Si su conexión de origen es Apache Kafka, puede monitorear las siguientes métricas opcionales:
partitionOffsetLagIndica el retraso entre el desplazamiento actual y el último desplazamiento en el intermediario para la partición de un tema.kafkaTotalOffsetLagIndica la suma de todos los retrasos de partición.
Registros de procesamiento de flujo
Atlas Stream Processing proporciona dos tipos de registros de actividad del espacio de trabajo de procesamiento de flujo:
- Registros operativos, que rastrean principalmente el comportamiento de
- procesadores de flujo individuales.
- Registros de auditoría, que rastrean principalmente la autenticación y la seguridad
- actividad en el nivel del espacio de trabajo de procesamiento de flujo.
Para descargar registros operativos o de auditoría de Atlas Stream Processing:
En Atlas, ve a la página Stream Processing de tu proyecto.
Si aún no aparece, se debe seleccionar la organización que contiene el proyecto en el menú Organizations de la barra de navegación.
Si aún no se muestra, seleccione su proyecto en el menú Projects de la barra de navegación.
En la barra lateral, haz clic en Stream Processing en la sección Streaming Data.
Se muestra la página Procesamiento de transmisión.
Navegue hasta el panel del espacio de trabajo de procesamiento de flujo desde el cual desea descargar registros y haga clic en los puntos suspensivos.
En la ventana modal, seleccione el tipo de registro que desea descargar.
En el campo Stream processor, indique el nombre del procesador de flujo cuyos registros desea descargar. Deje este campo en blanco para descargar los registros de todos los procesadores de flujo.
En el menú desplegable Time Period, seleccione el intervalo para el cual desea descargar registros.
Nota
Los registros tardan hasta cinco minutos después de su creación en poder consultarse.
Métricas del procesador de flujo en Datadog
Puede enviar métricas a Datadog para supervisar sus procesadores de flujo. Para saber cómo configurar la integración y qué métricas están disponibles, consulte Integración con Datadog.
Alertas del procesador de flujo
Atlas Stream Processing activa alertas cuando los procesadores cambian de estado o alcanzan diversos umbrales de ingesta o salida. Para obtener una lista de las alertas de Atlas Stream Processing disponibles, consulte Alertas de Atlas Stream Processing. Para obtener más información sobre la configuración de alertas, consulte Configurar ajustes de alertas.
Puede orientar las alertas de Atlas Stream Processing de las siguientes maneras:
Todos los procesadores de flujo dentro de un proyecto
Todos los procesadores de flujo dentro de un espacio de trabajo de procesamiento de flujo que coinciden con el predicado configurado
Todos los procesadores de flujo cuyos nombres coinciden con el predicado configurado
Para objetivos distintos a todos los procesadores de flujo, puede configurar varios objetivos para la misma alerta.
Atlas Stream Processing configura una Strean Processor State is failed alerta de forma predeterminada. Al ser una alerta a nivel de proyecto, se aplica a cualquier procesador de flujo que se ejecute en cualquier espacio de trabajo de procesamiento de flujo dentro del proyecto para el que está configurada.