Registros de alteração do Atlas Stream Processing

Adiciona um novo $sessionWindow estágio de agregação do pipeline de Atlas Stream Processing que especifica uma janela de sessão para agregação de dados. Isso permite que você execute um pipeline em cada "sessão" de atividade em um fluxo de entrada. Para saber mais, consulte $sessionWindow.

Oferece suporte a clusters Kafka Confluent hospedados no Azure via conexão Private Link.

Adiciona um novo $externalFunction estágio de pipeline Atlas Stream Processing que aciona processos em um recurso específico do AWS Lambda. Para saber mais, consulte $externalFunction.

Oferece suporte ao uso do AWS Transit Gateway para se conectar a clusters do AWS Confluent Cloud. Para saber mais, consulte Adicionar uma conexão de gateway do Kafka Transit.

Suporta a criação de conexões $https na interface do usuário do Atlas .

Adiciona o parallelism campo a $merge. O campo especifica o número de threads para os quais distribuir operações de gravação, o que melhora o desempenho.

Permitir que você crie alertas adicionais: Contagem de mensagens de saída, Contagem de mensagens DLQ, Atraso Kafka e Atraso de fluxo de alterações. Para saber mais, consulte Alertas de Atlas Stream Processing .

Suporta a expressão createUUID que não recebe argumentos e retorna valores do tipo UUID BSON em processadores de fluxo.

Adiciona uma nova configuração para que os operadores do Windows ofereçam suporte processingTime a além eventTime de. Para saber mais, consulte Tempo de processamento.

Adiciona a expressão $meta que retorna um objeto contendo todos os metadados de streaming para um documento.

Adiciona o parseJsonStrings campo ao $https operador, permitindo que ele analise as strings JSON retornadas de uma chamada de API. Para saber mais, consulte $https.

Permite adicionar uma conexão de link privado Kafka para clusters do AWS MSK.

Permite implantar instâncias de processamento de stream na AWS.us-east-2 Para saber mais, consulte Regiões de Atlas Stream Processing .

Suporta a expressão $currentDate que retorna a hora do sistema da sua instância de processamento de fluxo cada vez que o Atlas Stream Processing a avalia.

Suporta a leitura de documentos JSON com assinaturas de arquivo embutidas (bytes mágicos).

Corrige um problema que impedia a configuração de pular o Windows com hopSize maior que interval.

Altera o status executionTimeSecs para executionTimeMillis. Para visualizar esta estatística, invoque o comando sp.processor.stats().

Altera a duração do armazenamento em buffer de $emit para os coletores do Apache Kafka de 1000 milissegundos para cinco milissegundos.

Oferece suporte ao emparelhamento de VPC com Confluent na AWS.

Suporta o uso da API de administração do Atlas para editar processadores de fluxo.

Suporta AWS PrivateLink com Confluent.

Oferece suporte ao Azure Private Link com o EventHubs.

Aumenta o tempo-limite do Apache Kafka de 10 segundos para 30 segundos.

Sempre mantém os processadores quando o cluster de destino está no estado REPAIRING.

Fixa o partitionIdleTimeout após a restauração do checkpoint.

Adiciona mais informações sobre marcas d'água e janelas às estatísticas detalhadas.

Garante que as chamadas para produzir mensagens para o Apache Kafka não fiquem penduradas indefinidamente, mesmo quando a fila do produtor está cheia.

Suporta a ingestão de fontes Apache Kafka de vários tópicos.

Atualiza o Apache Kafka offsets para grupos de consumidores para quase tempo real.

Suporta as configurações compression.type e acks na configuração do Apache Kafka $emit.

Suporta a sintaxe$lookup sem collection.

Padroniza a forma como o Atlas Stream Processing serializa os erros do Apache Kafka em uma string.

Aumenta o limite da expressão dinâmica $emit e $merge para 1000.

Manipula $lookup com exclusivo connectionName dentro do pipeline da janela.

Melhora os erros de cluster pausado.

Oferece suporte à conversão de dados Binary para vários tipos de dados usando $convert. Isso permite transformar cabeçalhos do Kafka em tipos de dados específicos, conforme necessário.

Processadores de fluxo que usam Apache Kafka como uma fonte expõe marcas d'água por partição em sp.processor.stats().

Corrige um erro em que os usuários não conseguiam criar instâncias de processamento de fluxo em determinadas regiões por meio da API;