O Atlas Stream Processing fornece monitoramento e alertas para que os usuários possam aproveitar as percepções de desempenho e status para refinar seus fluxos de trabalho.
Monitorar instâncias do processador de fluxos na IU do Atlas
Para cada uma das suas instâncias de processamento de fluxos, você pode monitorar seus processadores de fluxos na IU do Atlas:
No Atlas, VáGo para a Stream Processing página do seu projeto.
Se ainda não tiver sido exibido, selecione a organização que contém seu projeto no menu Organizations na barra de navegação.
Se ainda não estiver exibido, selecione seu projeto no menu Projects na barra de navegação.
Na barra lateral, clique em Stream Processing sob o título Streaming Data.
A página Processamento de stream é exibida.
Clique na aba Monitoring.
A aba Monitoring exibe uma variedade de estatísticas de tempo de execução sobre um processador de fluxos de sua escolha, incluindo, mas não se limitando a:
Número de mensagens ingeridas
Número de mensagens processadas com êxito
Número de mensagens enviadas para sua Fila de mensagens não entregues (DLQ)
Se sua conexão de origem for Apache Kafka, você poderá monitorar o atraso entre o deslocamento atual e o deslocamento mais recente no corretor para a partição de um tópico e a soma de todos os atrasos de partição.
Métodos de monitoramento do processador de fluxo
O Atlas Stream Processing fornece os seguintes métodos para geração de relatórios sob demanda sobre seus processadores de fluxo:
O método sp.processor.sample() permite que você veja uma pequena amostra da saída de documentos por um processador de fluxo em execução no momento de sua escolha. Os usuários podem comparar os resultados amostrados com os resultados esperados para diagnosticar erros no design do pipeline de agregação.
O método sp.processor.stats() retorna uma variedade de estatísticas de tempo de execução sobre um processador de stream de sua escolha, incluindo, mas não se limitando a:
Número de mensagens ingeridas
Número de mensagens processadas com êxito
Número de mensagens enviadas para sua fila de Dead Letter
Tamanho na memória do estado do pipeline
Definição de pipeline
Se a sua conexão de origem for Apache Kafka, você poderá monitorar as seguintes métricas opcionais:
partitionOffsetLagindica o atraso entre o deslocamento atual e o deslocamento mais recente no corretor para a partição de um tópico.kafkaTotalOffsetLagindica a soma de todos os atrasos da partição.
Métricas do processador de fluxos no Datadog
Você pode enviar métricas ao Datadog para monitorar seus processadores de fluxos. Para saber como configurar a integração e quais métricas estão disponíveis, consulte Integração com Datadog.
Alertas do processador de fluxo
O Atlas Stream Processing aciona alertas quando os processadores mudam de estado ou quando um processador atinge vários limites de ingestão ou saída. Para obter uma lista de alertas disponíveis do Atlas Stream Processing, consulte Alertas do Atlas Stream Processing. Para saber mais sobre a configuração de alertas, consulte Definir configurações de alerta.
Você pode direcionar os alertas do Atlas Stream Processing das seguintes maneiras:
Todos os processadores de fluxo dentro de um projeto
Todos os processadores de fluxo dentro de uma instância de processamento de fluxo que correspondam ao predicado configurado
Todos os processadores de fluxo cujos nomes correspondem ao predicado configurado
Para destinos que não sejam todos os processadores de fluxo, é possível configurar vários destinos para o mesmo alerta.