Registros de alteração do Atlas Stream Processing

Adiciona suporte para o tipo de conexão de link privadoAWS S.3

Adiciona o botão Test Connection na UI do Registro de Conexão para iniciar um teste de conectividade para cada conexão.

Adiciona os campos tenant_name, project_name e org_name às métricas de Atlas Stream Processing , incluindo as exportadas para o DataDog.

Adiciona lifetime cache hit/miss estatísticas ao stats.operatorStats do estágio:ref`atlas-sp-agg-cachedlookup`.

Adiciona suporte para a métrica Stream Processor State na integração Atlas DataDog.

Adiciona o operador $function, permitindo a execução de JavaScript em pipelines de processamento de fluxo. Para saber mais, consulte $function (Processamento de Stream).

Adiciona o operador $cachedLookup, permitindo que os resultados de $lookup sejam armazenados em cache por um TTL específico para melhorar o desempenho de dados de mudança lenta. Para aprender mais, consulte $cachedLookup.

Adiciona a capacidade para o estágio $emit enviar valores null para tópicos do Kafka para que haja suporte à compactação de tópicos do Kafka usando $emit.config.tombstoneWhen = boolean. Para aprender mais, consulte $emit Estágio de Agregação (Stream Processing).

Adiciona suporte para o Projeto Cross Atlas para $source e $merge. Para aprender mais, consulte Atlas Connection.

Adiciona suporte para $source para suportar a sincronização inicial ao ler de coleções do Atlas . Para saber mais, consulte o MongoDB Collection Change Stream.

Adiciona suporte para implantação de Instâncias de Processamento de Stream no Google Cloud Platform. Para saber mais, consulte Regiões de processamento de fluxo do Google Cloud Platform (GCP).

Adiciona suporte para $merge para poder excluir documentos em coleções. Para saber mais, consulte $merge (Processamento de Stream).

Adiciona suporte para métricas DataDog. Para saber mais, consulte Métricas do DataDog.

Adiciona suporte para conexões AWS S.3

Adiciona um novo estágio de agregação de pipeline do Atlas Stream Processing $sessionWindow que especifica uma janela de sessão para agregação de dados. Isso permite que você execute um pipeline em cada "sessão" de atividade em um fluxo de entrada. Para saber mais, consulte $sessionWindow.

Oferece suporte a clusters Kafka Confluent hospedados no Azure via conexão Private Link.

Adiciona um novo estágio de pipeline $externalFunction Atlas Stream Processing que aciona processos em um recurso específico do Amazon Web Services Lambda. Para saber mais, consulte $externalFunction.

Suporta a criação de conexões $https na interface do usuário do Atlas.

Adiciona o campo parallelism a $merge. O campo especifica o número de threads para os quais distribuir operações de gravação, o que melhora o desempenho.

Permitir que você crie alertas adicionais: Contagem de mensagens de saída, Contagem de mensagens DLQ, Atraso Kafka e Atraso de fluxo de alterações. Para saber mais, consulte Alertas de Atlas Stream Processing.

Suporta a expressão createUUID que não recebe argumentos e retorna valores do tipo UUID BSON em processadores de fluxo.

Adiciona uma nova configuração para que os operadores do Windows ofereçam suporte a processingTime além de eventTime. Para saber mais, consulte Tempo de processamento.

Adiciona a expressão $meta que retorna um objeto contendo todos os metadados de streaming para um documento.

Adiciona o campo parseJsonStrings ao operador $https, permitindo que ele analise as strings JSON retornadas de uma chamada de API. Para saber mais, consulte $https.

Permite adicionar uma conexão de link privado Kafka para clusters do Amazon Web Services MSK.

Permite a você distribuir Instâncias de Processamento de Stream no Amazon Web Services us-east-2. Para saber mais, consulte Regiões de Atlas Stream Processing.

Suporta a expressão $currentDate que retorna a hora do sistema da sua instância de processamento de fluxo cada vez que o Atlas Stream Processing a avalia.

Suporta a leitura de documentos JSON com assinaturas de arquivo embutidas (bytes mágicos).

Corrige um problema que impedia a configuração de pular o Windows com hopSize maior que interval.

Altera o status executionTimeSecs para executionTimeMillis. Para visualizar esta estatística, invoque o comando sp.processor.stats().

Altera a duração do buffer de $emit estágio de agregação (processamento de fluxo) para coletores Apache Kafka de 1000 milissegundos para cinco milissegundos.

Oferece suporte ao emparelhamento de VPC com Confluent no Amazon Web Services.

Suporta o uso da API de administração do Atlas para editar processadores de fluxo.

Suporta AWS PrivateLink com Confluent.

Oferece suporte ao Azure Private Link com o EventHubs.

Aumenta o tempo-limite do Apache Kafka de 10 segundos para 30 segundos.

Sempre mantém os processadores quando o cluster de destino está no estado REPAIRING.

Fixa o partitionIdleTimeout após a restauração do checkpoint.

Adiciona mais informações sobre marcas d'água e janelas às estatísticas detalhadas.

Garante que as chamadas para produzir mensagens para Apache Kafka não fiquem penduradas indefinidamente, mesmo quando a fila do produtor está cheia.

Suporta a ingestão de fontes Apache Kafka de vários tópicos.

Atualiza Apache Kafka offsets para grupos de consumidores para quase tempo real.

Suporta as configurações compression.type e acks na configuração do Apache Kafka $emit.

Suporta a sintaxe$lookup sem collection.

Padroniza a forma como o Atlas Stream Processing serializa os erros do Apache Kafka em uma string.

Aumenta o limite da expressão dinâmica $emit e $merge para 1000.

Manipula $lookup com exclusivo connectionName dentro do pipeline da janela.

Melhora os erros de cluster pausado.

Oferece suporte à conversão de dados Binary para vários tipos de dados usando $convert. Isso permite transformar cabeçalhos do Kafka em tipos de dados específicos, conforme necessário.

Processadores de fluxo que usam Apache Kafka como uma fonte expõe marcas d'água por partição em sp.processor.stats().

Corrige um erro em que os usuários não conseguiam criar instâncias de processamento de fluxo em determinadas regiões por meio da API;