Registros de alteração do Atlas Stream Processing

Adiciona suporte para o Azure Blob Armazenamento como um coletor. Para saber mais, consulte Armazenamento de Blobs do Azure ($emit estágio) e Conexões de Armazenamento de Blobs do Azure.

Substitui o ícone de teste por um botão rotulado como TEST para conexões amostra, Apache Kafka e Atlas.

Bloqueia a exclusão de clusters que os processadores de stream ainda fazem referência.

Permite alterar a autenticação de conexão do Apache Kafka entre PLAIN e OIDC no registro de conexão.

Adiciona validação adicional para Apache Kafka nomes de host do servidor bootstrap.

Habilita a auditoria de fluxos de nível de projeto por padrão e remove o botão Streams Auditing da página Database & Network Access > Security > Advanced na IU do Atlas. Os registros de auditoria agora estão sempre ativos e não podem ser excluídos para atender às expectativas de segurança e conformidade. Para aprender mais sobre a auditoria do Atlas Stream Processing, consulte Acesso e auditoria do Atlas Stream Processing.

Adiciona um status em tempo real (Ready, Pending, Failed, Deleting) à IU do Atlas quando você visualiza conexões no registro de conexões.

Adiciona suporte para conexões do AWS Kinesis como opções de origem e coletor ao Criar um Stream Processor na IU do Atlas.

Adiciona suporte para o ponto de extremidade Baixar Registros Operacionais para Um Espaço de Trabalho de Atlas Stream Processing na API de Administração do Atlas para baixar logs operacionais para espaços de trabalho de Atlas Stream Processing ou processadores de fluxo.

Corrige um problema que marcava prematuramente as conexões de streams como Ready enquanto o Atlas cluster subjacente ainda estava provisionando.

Corrige um problema onde a ação modifyStreamProcessor estava indisponível para atribuição de função.

Melhora o tratamento de erros para as operações para iniciar, parar e excluir processadores de stream.

Melhora a validação das conexões do Hub de Eventos do Azure para garantir que somente URIs ARM do namespace válidos sejam aceitos.

Adiciona suporte para serialização Avro.

Adiciona suporte para integrações com o Registro de Esquema Confluente.

Permite escrever em uma conexão HTTPS usando $https como estágio final de um pipeline.

Adiciona suporte para AWS Kinesis como origem ($source estágio) e como coletor ($emit estágio).

Atualiza os preços de transferência de dados para refletir as taxas específicas da região para o processador de fluxo e a região de destino. Para aprender mais, veja os preços do processador de fluxo.

Atualiza os preços dos processadores de fluxo de nível SP10 e SP30 do modelo legado baseado em trabalhador para o modelo de preços por processador. Para aprender, veja os preços do processador de fluxo.

Substitui o modelo de instância anterior por Atlas Stream Processing Workspaces. Para saber mais, consulte Níveis de Stream Processing.

Adiciona novos níveis de processador de fluxo: SP2, SP5 e SP50.

Adiciona suporte para OIDC com Autenticação JWT para conexões Apache Kafka.

Adiciona suporte para criar um pipeline de processador de fluxo na IU do Atlas.

Adiciona suporte para o tipo de conexão de link privado AWS S3.

Adiciona o botão Test Connection na UI do Registro de Conexão para iniciar um teste de conectividade para cada conexão.

Adiciona os campos tenant_name, project_name e org_name às métricas de Atlas Stream Processing , incluindo aquelas exportadas para DataDog.

Adiciona lifetime cache hit/miss estatísticas ao stats.operatorStats do estágio $cachedLookup.

Adiciona suporte para a métrica Stream Processor State na integração Atlas DataDog.

Adiciona o operador $function, permitindo a execução de JavaScript em pipelines de processamento de fluxo. Para saber mais, consulte $function (Processamento de Stream).

Adiciona o operador $cachedLookup, permitindo que os resultados de $lookup sejam armazenados em cache por um TTL específico para melhorar o desempenho de dados de mudança lenta. Para aprender mais, consulte $cachedLookup.

Adiciona a capacidade para o estágio $emit enviar valores null para tópicos do Kafka para que haja suporte à compactação de tópicos do Kafka usando $emit.config.tombstoneWhen = boolean. Para aprender mais, consulte $emit Estágio de Agregação (Stream Processing).

Adiciona suporte para o Projeto Cross Atlas para $source e $merge. Para saber mais, consulte a seção Replicar eventos de transmissão de alteração em clusters do Atlas na referência $merge (Stream Processing).

Adiciona suporte para $source para suportar a sincronização inicial ao ler de coleções do Atlas . Para saber mais, consulte o MongoDB Collection Change Stream.

Adiciona suporte para espaços de trabalho do Stream Processing para implantar no Google Cloud. Para saber mais, consulte Regiões do Stream Processing do Google Cloud (GCP).

Adiciona suporte para $merge para poder excluir documentos em coleções. Para saber mais, consulte $merge (Processamento de Stream).

Adiciona suporte para métricas DataDog. Para saber mais, consulte Métricas do DataDog.

Adiciona suporte para AWS S3 conexões.

Adiciona um novo estágio de agregação de pipeline do Atlas Stream Processing $sessionWindow que especifica uma janela de sessão para agregação de dados. Isso permite que você execute um pipeline em cada "sessão" de atividade em um fluxo de entrada. Para saber mais, consulte $sessionWindow.

Oferece suporte a clusters Kafka Confluent hospedados no Azure via conexão Private Link.

Adiciona um novo estágio de pipeline $externalFunction Atlas Stream Processing que aciona processos em um recurso específico do Amazon Web Services Lambda. Para saber mais, consulte $externalFunction.

Suporta a criação de conexões $https na interface do usuário do Atlas.

Adiciona o campo parallelism a $merge. O campo especifica o número de threads para os quais distribuir operações de gravação, o que melhora o desempenho.

Permitir que você crie alertas adicionais: Contagem de mensagens de saída, Contagem de mensagens DLQ, Atraso Kafka e Atraso de fluxo de alterações. Para saber mais, consulte Alertas de Atlas Stream Processing.

Suporta a expressão createUUID que não recebe argumentos e retorna valores do tipo UUID BSON em processadores de fluxo.

Adiciona uma nova configuração para que os operadores do Windows ofereçam suporte a processingTime além de eventTime. Para saber mais, consulte Tempo de processamento.

Adiciona a expressão $meta que retorna um objeto contendo todos os metadados de streaming para um documento.

Adiciona o campo parseJsonStrings ao operador $https, permitindo que ele analise as strings JSON retornadas de uma chamada de API. Para saber mais, consulte $https.

Permite adicionar uma conexão de link privado Kafka para clusters do Amazon Web Services MSK.

Permite implantar espaços de trabalho do Stream Processing na AWS us-east-2. Para saber mais, consulte Regiões do Atlas Stream Processing.

Aceita a expressão $currentDate que retorna o tempo do sistema do seu espaço de trabalho do processamento de fluxos cada vez que o Atlas Stream Processing o avalia.

Suporta a leitura de documentos JSON com assinaturas de arquivo embutidas (bytes mágicos).

Corrige um problema que impedia a configuração de pular o Windows com hopSize maior que interval.

Altera o status executionTimeSecs para executionTimeMillis. Para visualizar esta estatística, invoque o comando sp.processor.stats().

Altera a duração do buffer para o estágio de $emit agregação (processamento de fluxo) para coletores Apache Kafka de 1000 milissegundos para cinco milissegundos.

Oferece suporte ao emparelhamento de VPC com Confluent no Amazon Web Services.

Suporta o uso da API de administração do Atlas para editar processadores de fluxo.

Suporta AWS PrivateLink com Confluent.

Oferece suporte ao Azure Private Link com o EventHubs.

Aumenta o tempo-limite do Apache Kafka de 10 segundos para 30 segundos.

Sempre mantém os processadores quando o cluster de destino está no estado REPAIRING.

Fixa o partitionIdleTimeout após a restauração do checkpoint.

Adiciona mais informações sobre marcas d'água e janelas às estatísticas detalhadas.

Garante que as chamadas para produzir mensagens para Apache Kafka não fiquem penduradas indefinidamente, mesmo quando a fila do produtor está cheia.

Suporta a ingestão de fontes Apache Kafka de vários tópicos.

Atualiza Apache Kafka offsets para grupos de consumidores para quase tempo real.

Suporta as configurações compression.type e acks na configuração do Apache Kafka $emit.

Suporta a sintaxe$lookup sem collection.

Padroniza a forma como o Atlas Stream Processing serializa os erros do Apache Kafka em uma string.

Aumenta o limite da expressão dinâmica $emit e $merge para 1000.

Manipula $lookup com exclusivo connectionName dentro do pipeline da janela.

Melhora os erros de cluster pausado.

Oferece suporte à conversão de dados Binary para vários tipos de dados usando $convert. Isso permite transformar cabeçalhos do Kafka em tipos de dados específicos, conforme necessário.

Processadores de fluxo que usam Apache Kafka como uma fonte expõe marcas d'água por partição em sp.processor.stats().

Corrige um bug em que os usuários não conseguiam criar espaços de trabalho de processamento de stream em determinadas regiões por meio da API.