Registros de alteração do Atlas Stream Processing

Adiciona suporte para asia-south1 em regiões do Google Cloud Platform.

Adiciona inferência de esquema aninhado à fase $iceberg. Para aprender mais, consulte $iceberg.

Mostra os IDs de conta de saída da AWS que você usa para configurar redes privadas na IU do Atlas.

Corrige um bug em que o Streams Monitoramento mostrava 0 para métricas de mensagens do processador quando não havia dados de métricas disponíveis. Streams Monitoramento agora mostra que nenhum dado está disponível em vez de 0.

Adiciona suporte a um agendar cron no estágio $source. Para aprender mais, consulte Cron Schedule.

Adiciona suporte para dimensionamento automático vertical. Para aprender mais, consulte Dimensionamento automático vertical do Atlas Stream Processing.

Adiciona suporte para us-west1 no Google Cloud Platform e northeurope, eastasia e southeastasia nas regiões do Azure.

Melhora a sincronização inicial da fonte do fluxo de alterações para que possa copiar coleções cujos valores _id abrangem vários BSON types, como ObjectId, string, numeric, date e UUID. Para aprender mais, consulte Configurar sincronização inicial de várias coleções.

Atualizar o estágio de agregação $iceberg para gravar arquivos no Amazon Web Services S3 usando o esquema s3:// em vez do esquema s3a://, o que aumenta a compatibilidade com mecanismos de query externos. Para saber mais, consulte $iceberg.

Corrige um bug onde o Atlas Stream Processing não oferecia suporte a logs de auditoria em us-east-2, eu-west-3 e ap-northeast-2.

Adiciona suporte a Private Link para o estágio de agregação $externalFunction. Para saber mais, consulte Adicionar uma conexão de link privado do AWS Lambda.

Adiciona suporte para paralelismo no estágio de agregação do $externalFunction .

Adiciona a Project Stream Processing Manager função. Para saber mais, consulte Funções do projeto.

Adiciona suporte para criar uma conexão Private Link de cluster Confluent Enterprise da AWS sem um valor dnsDomain. Para aprender mais, consulte Adicionar uma conexão de link privado do Kafka.

Adiciona um modal na IU do Atlas para limpeza de checkpoint ao editar um processador de stream.

Adiciona novos eventos de feed de atividades para o Atlas Stream Processing.

Adds support for the $vectorSearch pipeline stage.

Melhora a forma como os processadores de fluxo de origem Kafka distribuem em processamento entre as partições durante períodos de carga pesada, resultando em processamento mais uniforme.

Adiciona o uso da CPU e da memória do processador de fluxo à aba Monitoring na IU do Atlas. Para aprender mais, consulte Monitore espaços de trabalho do processador de fluxo na IU do Atlas.

Adiciona suporte de disponibilidade geral para gravação em tabelas Apache Iceberg usando o estágio de agregação $iceberg. Para saber mais, consulte $iceberg.

Adiciona suporte para failover regional. Para saber mais, consulte Processadores de failover.

Revisa a experiência da IU para criar e editar um processador de fluxo. Para saber mais, consulte Criar um processador de fluxo.

Adiciona acesso somente leitura à página Edit Connection para conexões em uso de uma entrada de registro de conexão. Um banner indica que você deve interromper os processadores que usam a conexão antes de fazer qualquer alteração. Anteriormente, você tinha que interromper os processadores que usavam a conexão para visualizar seus detalhes. Para saber mais, consulte Visualizar conexões no registro de conexões.

Melhora as mensagens de erro ao criar um pipeline na IU do Atlas.

Adiciona suporte para initialSync de várias coleções. Para saber mais, consulte MongoDB coleção Change Stream.

Adds an addedParallelism field to sp.processor.stats() that reports the additional parallelism the stream processor has configured, calculated as the sum of (parallelism - 1) across every stage that sets a parallelism value greater than 1. To learn more, see View Statistics of a Stream Processor.

Adds the ability to change the tier of a stream processor in mongosh. To learn more, see sp.processor.modify().

Adiciona a capacidade de alterar o tier de um workspace de Stream Processing na IU do Atlas.

Adiciona links diretos para Visual Builder e JSON editor em cartões de espaço de trabalho de Stream Processing vazios.

Corrige um bug em que os nomes de conexão podiam conter caracteres especiais diferentes de ., -, * e _.

Corrige um bug em que o ponto de extremidade Get One Stream Processor retorna um HTTP 400 em vez de um 404 quando o processador de fluxo não existe.

Integra uma melhoria ao manuseio de memória initialSync.

Adiciona suporte para brazilsouth e australiaeast na Azure, eu-west-3 na Amazon Web Services e us-east4 nas regiões do Google Cloud Platform.

Adiciona suporte para rede privada para conexões de armazenamento de Blob do Azure. Para saber mais, consulte Adicionar uma conexão de link privado do Azure Blob armazenamento.

Corrige um problema que retornava um código de status HTTP incorreto quando um espaço de trabalho não era encontrado.

Adiciona uma exibição do custo do AWS PrivateLink para conexões AWS Kinesis e S3 na IU do Atlas.

Corrige um problema de IU em que os custos do GCP Private Service Connect não eram exibidos corretamente para workspaces do Google Cloud.

Remove os painéis de consumo de mensagens de origem e entrega de mensagens de sink na IU de métricas do processador de fluxo quando a origem ou o sink não suporta estatísticas por destino.

Corrige um campo inválido no modelo de coletor Kinesis no Pipeline Visual Builder.

Adds a tier option to the Create One Stream Processor endpoint in the Atlas Administration API.

Integra correções para as estatísticas de latência de $lookup quando o paralelismo não está sendo utilizado.

Adds the metricThreshold object and deprecates the legacy threshold object to fix Terraform resource creation issues without breaking backward compatibility.

Adiciona suporte para o Google Cloud Pub/Sub como coletor. Para saber mais, consulte Conexões do Google Cloud Pub/Sub.

Adiciona suporte para fazer upload de definições de processador diretamente de arquivos .json locais usando um novo botão Upload file na página de IU do Editor JSON.

Adiciona suporte para Azure Blob armazenamento como destino. Para aprender mais, consulte Azure Blob armazenamento ($emit estágio) e Azure Blob armazenamento Connections.

Substitui o ícone de teste por um botão TEST rotulado para conexões amostra, Apache Kafka e Atlas.

Bloqueia a exclusão de clusters que os processadores de stream ainda fazem referência.

Permite alterar a autenticação de conexão do Apache Kafka entre PLAIN e OIDC no registro de conexão.

Adiciona validação adicional para Apache Kafka nomes de host do servidor bootstrap.

Habilita a auditoria de fluxos de nível de projeto por padrão e remove o botão Streams Auditing da página Database & Network Access > Security > Advanced na IU do Atlas. Os registros de auditoria agora estão sempre ativos e não podem ser excluídos para atender às expectativas de segurança e conformidade. Para aprender mais sobre a auditoria do Atlas Stream Processing, consulte Acesso e auditoria do Atlas Stream Processing.

Adiciona um status em tempo real (Ready, Pending, Failed, Deleting) à IU do Atlas quando você visualiza conexões no registro de conexões.

Adiciona suporte para conexões do AWS Kinesis como opções de origem e coletor ao Criar um Stream Processor na IU do Atlas.

Adds support for the Download Operational Logs for One Atlas Stream Processing Workspace endpoint in the Atlas Administration API to download operational logs for Atlas Stream Processing workspaces or stream processors.

Corrige um problema que marcava prematuramente as conexões de streams como Ready enquanto o Atlas cluster subjacente ainda estava provisionando.

Corrige um problema onde a ação modifyStreamProcessor estava indisponível para atribuição de função.

Melhora o tratamento de erros para as operações para iniciar, parar e excluir processadores de stream.

Melhora a validação das conexões do Hub de Eventos do Azure para garantir que somente URIs ARM do namespace válidos sejam aceitos.

Adiciona suporte para serialização Avro.

Adiciona suporte para integrações com o Registro de Esquema Confluente.

Permite escrever em uma conexão HTTPS usando $https como estágio final de um pipeline.

Adiciona suporte para Amazon Web Services Kinesis como uma origem (estágio $source) e como um destino (estágio $emit).

Atualiza os preços de transferência de dados para refletir as taxas específicas da região para o processador de fluxo e a região de destino. Para aprender mais, veja os preços do processador de fluxo.

Atualiza os preços dos processadores de fluxo de tier SP10 e SP30 do modelo legado baseado em trabalhador para o modelo de preços por processador. Para saber mais, consulte preços do processador de fluxo.

Substitui o modelo de instância anterior por Atlas Stream Processing Workspaces. Para saber mais, consulte Níveis de Stream Processing.

Adiciona novos níveis de processador de fluxo: SP2, SP5 e SP50.

Adiciona suporte para OIDC com Autenticação JWT para conexões Apache Kafka.

Adiciona suporte para criar um pipeline de processador de fluxo na IU do Atlas.

Adiciona suporte para o tipo de conexão de link privado AWS S3.

Adiciona o botão Test Connection na UI do Registro de Conexão para iniciar um teste de conectividade para cada conexão.

Adiciona os campos tenant_name, project_name e org_name às métricas de Atlas Stream Processing , incluindo aquelas exportadas para DataDog.

Adiciona lifetime cache hit/miss estatísticas ao stats.operatorStats do estágio $cachedLookup.

Adiciona suporte para a métrica Stream Processor State na integração Atlas DataDog.

Adiciona o operador $function, permitindo a execução de JavaScript em pipelines de processamento de fluxo. Para saber mais, consulte $function (Processamento de Stream).

Adiciona o operador $cachedLookup, permitindo que os resultados de $lookup sejam armazenados em cache por um TTL específico para melhorar o desempenho de dados de mudança lenta. Para aprender mais, consulte $cachedLookup.

Adiciona a capacidade para o estágio $emit enviar valores null para tópicos do Kafka para que haja suporte à compactação de tópicos do Kafka usando $emit.config.tombstoneWhen = boolean. Para aprender mais, consulte $emit Estágio de Agregação (Stream Processing).

Adiciona suporte para o Projeto Cross Atlas para $source e $merge. Para saber mais, consulte a seção Replicar eventos de transmissão de alteração em clusters do Atlas na referência $merge (Stream Processing).

Adiciona suporte para $source para suportar a sincronização inicial ao ler de coleções do Atlas . Para saber mais, consulte o MongoDB Collection Change Stream.

Adds support for Stream Processing Workspaces to deploy on Google Cloud. To learn more, see Google Cloud (GCP) Stream Processing Regions.

Adds support for $merge to be able to delete documents in collections. To learn more, see $merge (Stream Processing).

Adds support for Datadog Metrics. To learn more, see Datadog Metrics.

Adiciona suporte para Conexões AWS S3.

Adiciona um novo estágio de agregação de pipeline do Atlas Stream Processing $sessionWindow que especifica uma janela de sessão para agregação de dados. Isso permite que você execute um pipeline em cada "sessão" de atividade em um fluxo de entrada. Para saber mais, consulte $sessionWindow.

Oferece suporte a clusters Kafka Confluent hospedados no Azure via conexão Private Link.

Adiciona um novo estágio de pipeline $externalFunction Atlas Stream Processing que aciona processos em um recurso específico do Amazon Web Services Lambda. Para saber mais, consulte $externalFunction.

Suporta a criação de conexões $https na interface do usuário do Atlas.

Adiciona o campo parallelism a $merge. O campo especifica o número de threads para os quais distribuir operações de gravação, o que melhora o desempenho.

Permitir que você crie alertas adicionais: Contagem de mensagens de saída, Contagem de mensagens DLQ, Atraso Kafka e Atraso de fluxo de alterações. Para saber mais, consulte Alertas de Atlas Stream Processing.

Suporta a expressão createUUID que não recebe argumentos e retorna valores do tipo UUID BSON em processadores de fluxo.

Adiciona uma nova configuração para que os operadores do Windows ofereçam suporte a processingTime além de eventTime. Para saber mais, consulte Tempo de processamento.

Adiciona a expressão $meta que retorna um objeto contendo todos os metadados de streaming para um documento.

Adiciona o campo parseJsonStrings ao operador $https, permitindo que ele analise as strings JSON retornadas de uma chamada de API. Para saber mais, consulte $https.

Permite adicionar uma conexão de link privado Kafka para clusters do Amazon Web Services MSK.

Permite implantar espaços de trabalho do Stream Processing na AWS us-east-2. Para saber mais, consulte Regiões do Atlas Stream Processing.

Aceita a expressão $currentDate que retorna o tempo do sistema do seu espaço de trabalho do processamento de fluxos cada vez que o Atlas Stream Processing o avalia.

Suporta a leitura de documentos JSON com assinaturas de arquivo embutidas (bytes mágicos).

Corrige um problema que impedia a configuração de pular o Windows com hopSize maior que interval.

Changes the executionTimeSecs stat to executionTimeMillis. To view this stat, invoke the sp.processor.stats() command.

Altera a duração do buffer para o estágio de $emit agregação (processamento de fluxo) para coletores Apache Kafka de 1000 milissegundos para cinco milissegundos.

Oferece suporte ao emparelhamento de VPC com Confluent no Amazon Web Services.

Suporta o uso da API de administração do Atlas para editar processadores de fluxo.

Suporta AWS PrivateLink com Confluent.

Oferece suporte ao Azure Private Link com o EventHubs.

Aumenta o tempo-limite do Apache Kafka de 10 segundos para 30 segundos.

Sempre mantém os processadores quando o cluster de destino está no estado REPAIRING.

Fixa o partitionIdleTimeout após a restauração do checkpoint.

Adiciona mais informações sobre marcas d'água e janelas às estatísticas detalhadas.

Garante que as chamadas para produzir mensagens para Apache Kafka não fiquem penduradas indefinidamente, mesmo quando a fila do produtor está cheia.

Suporta a ingestão de fontes Apache Kafka de vários tópicos.

Atualiza Apache Kafka offsets para grupos de consumidores para quase tempo real.

Suporta as configurações compression.type e acks na configuração do Apache Kafka $emit.

Suporta a sintaxe$lookup sem collection.

Padroniza a forma como o Atlas Stream Processing serializa os erros do Apache Kafka em uma string.

Aumenta o limite da expressão dinâmica $emit e $merge para 1000.

Manipula $lookup com exclusivo connectionName dentro do pipeline da janela.

Melhora os erros de cluster pausado.

Supports converting from Binary data to various data types using $convert. This allows you to transform Kafka headers into specific data types as needed.

Os processadores de stream que usam o Apache Kafka como fonte expõem marcas d'gua por partição no sp.processor.stats().

Corrige um bug em que os usuários não conseguiam criar espaços de trabalho de processamento de stream em determinadas regiões por meio da API.