Atlas Stream Processing

Os dados de streaming são gerados continuamente a partir de uma ampla variedade de fontes. Sensores IoT, microsserviços e dispositivos móveis são fontes comuns de fluxos de dados de alto volume. A natureza contínua dos dados de streaming, bem como sua imutabilidade, tornam-nos únicos em relação aos dados estáticos em repouso em um banco de dados.

O processamento de fluxo está ingerindo e transformando continuamente dados de eventos de uma plataforma de mensagens de eventos (como Apache Kafka) para executar várias funções. Isso pode significar a criação de filtros simples para remover dados desnecessários, a realização de agregações para contar ou somar dados conforme necessário, a criação de janelas com estado e muito mais. O processamento de fluxo pode ser uma característica diferenciadora em aplicações orientadas a eventos, permitindo experiências do cliente mais reativas e responsivas.

O streaming de dados reside dentro de plataformas de streaming de eventos (como Apache Kafka) e esses sistemas são essencialmente log distribuído imutável. Os dados de eventos são publicados e consumidos em plataformas de streaming de eventos por meio de APIs.

O desenvolvedor precisa usar um processador de fluxo para realizar um processamento mais avançado, como agregação com estado, operações de janela, mutações e criação de visualizações materializadas. Essas operações são semelhantes às que se faz ao executar uma consulta em um banco de dados, exceto pelo fato de que o processamento de fluxo consulta continuamente um fluxo infinito de dados. Essa área do streaming é uma tecnologia emergente, com soluções como Apache Flink e Spark streaming ganhando força rapidamente.

Com o MongoDB Atlas Stream Processing, o MongoDB oferece ao desenvolvedor uma maneira melhor de processar fluxos para uso em sua aplicação, aproveitando o framework de agregação.

O processamento de fluxo é um componente cada vez mais importante para a criação de aplicativos responsivos e orientados a eventos. Ao adicionar a funcionalidade de processamento de fluxo como um recurso nativo em MongoDB Atlas, estamos ajudando mais desenvolvedores a criar aplicativos inovadores aproveitando nossa plataforma de dados de desenvolvimento multinuvem.

O processamento do stream acontece continuamente. No contexto da criação de aplicações orientadas a eventos, o processamento de fluxo permite experiências reativas e atraentes, como notificações em tempo real, personalização, planejamento de rotas e manutenção preditiva.

O processamento em lote não funciona em dados produzidos continuamente. Em vez disso, o processamento em lote funciona coletando dados durante um período de tempo específico e, em seguida, processando esses dados estáticos conforme necessário. Um exemplo de processamento de lote é uma empresa de varejo que coleta as vendas no fechamento do negócio todos os dias para fins de relatório ou atualização dos níveis de estoque.

MongoDB Atlas Stream Processing amplia o pipeline de agregação com estágios para o processamento de fluxos de dados contínuos. Esses estágios se combinam com os estágios de agregação existentes e criam o processo padrão mongod, permitindo que o desenvolvedor realize muitas das mesmas operações em dados contínuos que pode realizar em dados em repouso.

Sim. O site MongoDB Atlas Stream Processing usa o checkpoint documento para capturar o estado de um processador de fluxo quando o último operador de um processador de fluxo é concluído. Esse é um recurso importante para reiniciar um processador após uma falha, sem exigir um reprocessamento significativo dos dados.

O MongoDB Atlas Stream Processing é compatível com o operador $validate no site MongoDB Query API. Usando esse operador, o desenvolvedor pode garantir que os valores e tipos de dados estejam em conformidade com um esquema, opcionalmente encaminhando os dados para uma fila de mensagens não entregues (DLQ) quando não atenderem aos critérios de validação.

A partir de agosto de 2024, o MongoDB Atlas Stream Processing suportará o AWS nos EUA, Europa e APAC. O suporte para outros provedores de nuvem e regiões será lançado em breve.