O Atlas Stream Processing fornece monitoramento e alertas para que os usuários possam aproveitar as percepções de desempenho e status para refinar seus fluxos de trabalho.
Monitorar Workspaces de Processadores de Fluxo na IU do Atlas
Para cada um dos seus espaços de trabalho de processamento stream, você pode monitorar seus processadores de fluxo na IU do Atlas:
No Atlas, VáGo para a Stream Processing página do seu projeto.
Se ainda não tiver sido exibido, selecione a organização que contém seu projeto no menu Organizations na barra de navegação.
Se ainda não estiver exibido, selecione seu projeto no menu Projects na barra de navegação.
Na barra lateral, clique em Stream Processing sob o título Streaming Data.
A página Stream Processing é exibida.
Clique na aba Monitoring.
A aba Monitoring exibe uma variedade de estatísticas de tempo de execução sobre um processador de fluxos de sua escolha, incluindo, mas não se limitando a:
Número de mensagens ingeridas
Número de mensagens processadas com êxito
Número de mensagens enviadas para sua Fila de mensagens não entregues (DLQ)
Se sua conexão de origem for Apache Kafka, você poderá monitorar o atraso entre o deslocamento atual e o deslocamento mais recente no corretor para a partição de um tópico e a soma de todos os atrasos de partição.
Métodos de monitoramento do processador de fluxo
O Atlas Stream Processing fornece os seguintes métodos para geração de relatórios sob demanda sobre seus processadores de fluxo:
O método sp.processor.sample() permite que você veja uma pequena amostra da saída de documentos por um processador de fluxo em execução no momento de sua escolha. Os usuários podem comparar os resultados amostrados com os resultados esperados para diagnosticar erros no design do pipeline de agregação.
O método sp.processor.stats() retorna uma variedade de estatísticas de tempo de execução sobre um processador de stream de sua escolha, incluindo, mas não se limitando a:
Número de mensagens ingeridas
Número de mensagens processadas com êxito
Número de mensagens enviadas para sua fila de Dead Letter
Tamanho na memória do estado do pipeline
Definição de pipeline
Se a sua conexão de origem for Apache Kafka, você poderá monitorar as seguintes métricas opcionais:
partitionOffsetLagindica o atraso entre o deslocamento atual e o deslocamento mais recente no corretor para a partição de um tópico.kafkaTotalOffsetLagindica a soma de todos os atrasos da partição.
Logs de Stream Processing
O Atlas Stream Processing fornece dois tipos de logs de atividades do workspace de stream processing:
- Logs operacionais, que acompanham principalmente o comportamento de
- processadores de stream individuais.
- Logs de auditar, que acompanham principalmente autenticação e segurança
- atividade no nível do espaço de trabalho de stream processing.
Para baixar logs operacionais ou logs de auditar do Atlas Stream Processing:
No Atlas, váGo para a Stream Processing página do seu projeto.
Se ainda não tiver sido exibido, selecione a organização que contém seu projeto no menu Organizations na barra de navegação.
Se ainda não estiver exibido, selecione seu projeto no menu Projects na barra de navegação.
Na barra lateral, clique em Stream Processing sob o título Streaming Data.
A página Processamento de fluxo é exibida.
Navegue até o painel do espaço de trabalho de stream processing do qual deseja baixar os logs e clique nas reticências.
Na janela modal, selecione o tipo de log que deseja baixar.
No campo Stream processor, forneça o nome do processador de stream para o qual você deseja baixar os logs. Deixe este campo em branco para baixar logs para todos os processadores de stream.
Na lista suspensa Time Period, selecione o intervalo para o qual deseja baixar os logs.
Observação
Os logs levam até cinco minutos após a criação para se tornarem consultáveis.
Métricas do processador de fluxos no Datadog
Você pode enviar métricas ao Datadog para monitorar seus processadores de fluxos. Para saber como configurar a integração e quais métricas estão disponíveis, consulte Integração com Datadog.
Alertas do processador de fluxo
O Atlas Stream Processing aciona alertas quando os processadores mudam de estado ou quando um processador atinge vários limites de ingestão ou saída. Para obter uma lista de alertas disponíveis do Atlas Stream Processing, consulte Alertas do Atlas Stream Processing. Para saber mais sobre a configuração de alertas, consulte Definir configurações de alerta.
Você pode direcionar os alertas do Atlas Stream Processing das seguintes maneiras:
Todos os processadores de fluxo dentro de um projeto
Todos os processadores de stream processing dentro de um espaço de trabalho de stream processing que correspondam ao predicado configurado
Todos os processadores de fluxo cujos nomes correspondem ao predicado configurado
Para destinos que não sejam todos os processadores de fluxo, é possível configurar vários destinos para o mesmo alerta.
O Atlas Stream Processing configura um alerta por padrão. Como este é um alerta de nível de projeto, ele se aplica a qualquer processador de fluxo em execução em qualquer espaço de trabalho de processamento de fluxo dentro do projeto para o qual está Strean Processor State is failed configurado.