Atlas Stream Processing proporciona supervisión y alertas para que los usuarios puedan aprovechar perspectivas sobre el rendimiento y el estado para optimizar sus flujos de trabajo.
Supervise los espacios de trabajo del procesador de flujo en la interfaz de usuario de Atlas
Para cada uno de tus espacios de trabajo de Stream Processing, puedes supervisar tus procesadores de flujos en la Interfaz de Usuario de Atlas:
En Atlas, ve a la página Stream Processing de tu proyecto.
Si aún no aparece, se debe seleccionar la organización que contiene el proyecto en el menú Organizations de la barra de navegación.
Si aún no se muestra, seleccione su proyecto en el menú Projects de la barra de navegación.
En la barra lateral, haz clic en Stream Processing en la sección Streaming Data.
Se muestra la página Stream Processing.
Haz clic en la pestaña Monitoring.
La pestaña Monitoring muestra una variedad de estadísticas de ejecución sobre el procesador de flujo que elijas, incluyendo, pero no limitado a:
Número de mensajes ingeridos
Número de mensajes procesados con éxito
Número de mensajes enviados a su fila de letra muerta
Si tu conexión de origen es Apache Kafka, puedes supervisar el retraso entre el desplazamiento actual y el último desplazamiento en el broker para la partición de un tema y la suma de todos los retrasos de partición.
Métodos de supervisión del procesador de flujos
Atlas Stream Processing proporciona los siguientes métodos para reportes on-demand sobre tus procesadores de transmisión:
El método sp.processor.sample() te permite ver una pequeña muestra de los documentos que produce un procesador de flujos que esté en ejecución. Los usuarios pueden comparar los resultados muestreados con sus resultados esperados para diagnosticar cualquier error en el diseño de su pipeline de agregación.
El método sp.processor.stats() devuelve una variedad de estadísticas de tiempo de ejecución sobre un procesador de stream de tu elección, incluyendo, pero no limitado a:
Número de mensajes ingeridos
Número de mensajes procesados con éxito
Número de mensajes enviados a su fila de letra muerta
Tamaño en memoria del estado de su pipeline
Definición de pipeline
Si tu conexión de origen es Apache Kafka, puedes supervisar las siguientes métricas opcionales:
partitionOffsetLagindica el retraso entre el desplazamiento actual y el último desplazamiento del intermediario para una partición de un tema.kafkaTotalOffsetLagindica la suma de todos los retrasos de particiones.
Stream Processing Registros
Atlas Stream Processing ofrece dos tipos de registros de actividades del área de trabajo para Stream Processing:
- Registros de operaciones, que rastrean principalmente el comportamiento de
- procesadores de flujo individuales.
- Registros de auditoría, que principalmente rastrean la autenticación y la seguridad
- actividad a nivel del espacio de trabajo de Stream Processing.
Para descargar los registros operativos o de auditoría de Atlas Stream Processing:
En Atlas, ve a la página Stream Processing de tu proyecto.
Si aún no aparece, se debe seleccionar la organización que contiene el proyecto en el menú Organizations de la barra de navegación.
Si aún no se muestra, seleccione su proyecto en el menú Projects de la barra de navegación.
En la barra lateral, haz clic en Stream Processing en la sección Streaming Data.
Se muestra la página Stream Processing.
Navega al panel del área de trabajo de Stream Processing desde el cual deseas descargar los registros y haz clic en el icono de tres puntos suspensivos.
En la ventana modal, selecciona el tipo de registro que deseas descargar.
En el campo Stream processor, introduce el nombre del procesador de flujo para el que deseas descargar registros. Deje este campo en blanco para descargar los registros de todos los procesadores de flujo.
En el menú desplegable Time Period, selecciona el intervalo para el que deseas descargar los registros.
Nota
Los registros pueden tardar hasta cinco minutos después de su creación en estar disponibles para consulta.
Integraciones de métricas de terceros
Atlas Stream Processing soporta integraciones de métricas de terceros, lo que permite a los usuarios registro y analizar el rendimiento del procesador de streams sin tener que desarrollar lógica o vistas personalizadas. Puedes configurar las siguientes integraciones:
Alertas del procesador de flujo
Atlas Stream Processing activa alertas cuando los procesadores cambian de estado o cuando un procesador alcanza diversos umbrales de ingestión o salida. Para ver una lista de alertas disponibles de Atlas Stream Processing, consulta Atlas Stream Processing Alerts. Para obtener más información sobre la configuración de alertas, consulte Configurar ajustes de alerta.
Puede dirigir las alertas de Atlas Stream Processing de las siguientes maneras:
Todos los procesadores de flujo dentro de un proyecto
Todos los procesadores de flujos dentro de un espacio de trabajo de Stream Processing que coinciden con el predicado configurado
Todos los procesadores de flujo cuyos nombres coinciden con el predicado configurado
Para objetivos distintos a todos los procesadores de flujo, puedes configurar varios objetivos para la misma alerta.
Atlas Stream Processing configura por defecto una alerta Strean Processor State is failed. Dado que se trata de una alerta a nivel de proyecto, se aplica a cualquier procesador de flujos que esté en ejecución en cualquier espacio de trabajo de procesamiento de flujos dentro del proyecto para el que esté configurada.