Atlas Stream Processing proporciona monitoreo y alertas para que los usuarios puedan aprovechar la información sobre el rendimiento y el estado para refinar sus flujos de trabajo.
Supervise los espacios de trabajo del procesador de flujo en la interfaz de usuario de Atlas
Para cada uno de sus espacios de trabajo de procesamiento de flujo, puede monitorear sus procesadores de flujo en la interfaz de usuario de Atlas:
En Atlas, ve a Stream Processing página para tu proyecto.
Si aún no aparece, se debe seleccionar la organización que contiene el proyecto en el menú Organizations de la barra de navegación.
Si aún no se muestra, seleccione su proyecto en el menú Projects de la barra de navegación.
En la barra lateral, haz clic en Stream Processing en la sección Streaming Data.
La Se muestra la página deprocesamiento de flujo.
Haga Monitoring clic en la pestaña.
La pestaña Monitoring muestra una variedad de estadísticas de ejecución sobre el procesador de flujo que elijas, incluyendo, pero no limitado a:
Número de mensajes ingeridos
Número de mensajes procesados con éxito
Número de mensajes enviados a tu fila de letra muerta
Si tu conexión origen es Apache Kafkapuede supervisar el desfase entre el desplazamiento actual y el más reciente en el broker para la partición de un tema, así como la suma de todos los desfases de partición.
Métodos de supervisión del procesador de flujos
Atlas Stream Processing proporciona los siguientes métodos para reportes on-demand sobre tus procesadores de transmisión:
El método sp.processor.sample() permite ver una pequeña muestra de los documentos generados por un procesador de flujo de su elección que esté en ejecución. Los usuarios pueden comparar los resultados muestreados con los esperados para diagnosticar cualquier error en el diseño de su canal de agregación.
El método sp.processor.stats() devuelve una variedad de estadísticas de tiempo de ejecución sobre un procesador de stream de tu elección, incluyendo, pero no limitado a:
Número de mensajes ingeridos
Número de mensajes procesados con éxito
Número de mensajes enviados a su fila de letra muerta
Tamaño en memoria del estado de su pipeline
Definición de pipeline
Si tu conexión de origen es Apache Kafka, puedes supervisar las siguientes métricas opcionales:
partitionOffsetLagIndica el retraso entre el desplazamiento actual y el último desplazamiento en el intermediario para la partición de un tema.kafkaTotalOffsetLagindica la suma de todos los retrasos de particiones.
Stream Processing Registros
Atlas Stream Processing ofrece dos tipos de registros de actividades del área de trabajo para Stream Processing:
- Registros de operaciones, que rastrean principalmente el comportamiento de
- procesadores de flujo individuales.
- Registros de auditoría, que principalmente rastrean la autenticación y la seguridad
- actividad a nivel del espacio de trabajo de Stream Processing.
Para descargar registros operativos o de auditoría de Atlas Stream Processing:
En Atlas, ve a la página Stream Processing de tu proyecto.
Si aún no aparece, se debe seleccionar la organización que contiene el proyecto en el menú Organizations de la barra de navegación.
Si aún no se muestra, seleccione su proyecto en el menú Projects de la barra de navegación.
En la barra lateral, haz clic en Stream Processing en la sección Streaming Data.
Se muestra la página Stream Processing.
Navegue hasta el panel del espacio de trabajo de procesamiento de flujo desde el cual desea descargar registros y haga clic en los puntos suspensivos.
En la ventana modal, seleccione el tipo de registro que desea descargar.
En el campo Stream processor, introduce el nombre del procesador de flujo para el que deseas descargar registros. Deje este campo en blanco para descargar los registros de todos los procesadores de flujo.
En el menú desplegable Time Period, selecciona el intervalo para el que deseas descargar los registros.
Nota
Los registros tardan hasta cinco minutos después de su creación en poder consultarse.
Métricas del procesador de flujo en Datadog
Puedes enviar métricas a DataDog para supervisar tus procesadores de flujo. Para aprender cómo configurar la integración y qué métricas están disponibles, consulta Integrarse con DataDog.
Alertas del procesador de flujo
Atlas Stream Processing activa alertas cuando los procesadores cambian de estado o cuando un procesador alcanza diversos umbrales de ingestión o salida. Para ver una lista de alertas disponibles de Atlas Stream Processing, consulta Atlas Stream Processing Alerts. Para obtener más información sobre la configuración de alertas, consulte Configurar ajustes de alerta.
Puede dirigir las alertas de Atlas Stream Processing de las siguientes maneras:
Todos los procesadores de flujo dentro de un proyecto
Todos los procesadores de flujo dentro de un espacio de trabajo de procesamiento de flujo que coinciden con el predicado configurado
Todos los procesadores de flujo cuyos nombres coinciden con el predicado configurado
Para objetivos distintos a todos los procesadores de flujo, puede configurar varios objetivos para la misma alerta.
Atlas Stream Processing configura por defecto una alerta Strean Processor State is failed. Dado que se trata de una alerta a nivel de proyecto, se aplica a cualquier procesador de flujos que esté en ejecución en cualquier espacio de trabajo de procesamiento de flujos dentro del proyecto para el que esté configurada.