Log de alterações da Data Federation

Lançamento de18 de junho:2024

• Supports the ability to read Parquet files with zstd column compression.

21 de 2024 maio:

• Adiciona suporte para cargas de trabalho programáticas via OIDC para Atlas Data Federation. Para saber mais, veja Configurar a federação de identidade de carga de trabalho com OAuth 2.0.

• If you're an Admin user or a user with the killop privilege, you can use the killOp command to terminate any query on a federated database. The user who issued the query can also terminate the query.

14 de 2024 maio:

• Alterações em quais regiões processam dados para regiões não suportadas:

  • ca-central-1 (Montreal) processará dados de ca-west-1 (Alberta) em vez de eu-west-1 (Ireland).

  • ap-northeast-1 (Tokyo) processará dados:

    • de ap-northeast-2 (Seoul) em vez de eu-west-1 (Ireland).

    • de ap-northeast-3 (Osaka) em vez de eu-west-1 (Ireland).

    • de ap-east-1 (Hong Kong) em vez de ap-southeast-2 (Sydney).

• Fixes an issue where the killOp command was prevented from terminating a query.

9 de 2024 abril:

• Adiciona suporte para o estágio $sql nas visualizações do Atlas Data Federation.

• Corrige um problema em que, ao criar uma visualização, o Atlas Data Federation não estava verificando as permissões corretamente.

26 de março de 2024 Lançamento

• Resolve um problema em que as datas geradas no formato ISO 8602 causavam resultados de query incorretos.

19 de março de 2024 Lançamento

• Corrige um problema que impedia que o driver Python não conectasse ao usar a autenticação IAM do Amazon Web Services .

• Fixes an issue that caused $limit queries to fail with an InternalError.

• Melhora a filtragem de partição de modelo no planejador de query, o que melhora o desempenho da query em determinados casos em várias fontes de armazenamento blob.

Versão de 28 de fevereiro de 2024

• Torna os armazenamentos de dados do Azure disponíveis de forma geral para suas implantações de desenvolvimento e produção.

Lançamento de 14 de fevereiro de 2024

• Suporta string de conexão separadas para conexões de endpoints privados para Atlas Data Federation e Atlas Online Archive.

Lançamento de 31 de janeiro de 2024

• Suporta Amazon Web Services IAM se você configurar Amazon Web Services IAM para autenticação. Atualmente, isso não é suportado na UI do Atlas.

Lançamento de 05 de dezembro de 2023

• Altera o erro CommandNotSupported para CommandNotFound.

Lançamento de 28 de novembro de 2023

• Suporta OIDC para Microsoft Entra ID, Okta e Ping Identity como IdPs. Para saber mais, consulte Autenticação e autorização com OIDC/OAuth 2.0.

Lançamento de 31 de outubro de 2023

• Melhora o desempenho ao ler de arquivos do Parquet .

• Adiciona suporte para modificar visualizações com collMod.

• Adiciona o reconhecimento automático de arquivos .jsonl como arquivos JSON Lines.

• Corrige um problema com o sqlGenerateSchema onde ele não seria executado na fonte do Online Archive.

Lançamento de 22 de agosto de 2023

• Adiciona um campo de carimbo de data/hora lastModified aos metadados de proveniência do objeto S3. Para aprender mais, consulte databases.[n].collections.[n].dataSources.[n].provenanceFieldName.

• Suporta metadados de procedência para conjuntos de dados de Atlas Online Archive.

Lançamento de 08 de agosto de 2023

• Melhora a mensagem de erro por exceder o limite maxTimeMS .

• Melhora os resultados de explicação () para queries destinadas a conjuntos de dados do Atlas Data Lake e Online Archives.

Lançamento de 01 de agosto de 2023

• Improves performance for queries that utilize the $ne operator.

Lançamento de 25 de julho de 2023

• Allows you to set read concern for Atlas cluster data store.

Lançamento de 27 de junho de 2023

• Supports the $$SEARCH_META aggregation variable when you run $search queries on an Atlas cluster through Atlas Data Federation.

Lançamento de 13 de junho de 2023

• Apresenta uma nova experiência de integração com modelos para os casos de uso mais comuns do Atlas Data Federation.

• Melhora a mensagem de erro para $out para query S3 para fornecer mais detalhes.

Lançamento de 09 de maio de 2023

• Otimiza os atributos de partição para selecionar arquivos no S3 ao usar o operador $in em pipelines de agregação.

Lançamento de 18 de abril de 2023

• Modifica o comportamento de $queryHistory para indicar que uma query está concluída quando todos os lotes tiverem sido carregados como arquivos de cursor, todos os lotes tiverem sido retornados ao usuário ou houver um erro.

• Adiciona a capacidade de usar dados BSON para o campo de comentário em comandos.

Lançamento de 04 de abril de 2023

• Melhora as mensagens de erro ao consultar um documento com mais de 16 MB.

• Corrige um problema de correção para $getFields onde Atlas Data Federation diferia do MongoDB ao executar query de um subdocumento vazio.

• Melhora a estabilidade e o desempenho para $out em S3 ao gravar no Parquet.

Lançamento de 21 de fevereiro de 2023

• Corrige um problema com queries $match que resultavam em documentos não sendo retornados ao fazer query de documentos aninhados dentro de uma array em que qualquer documento aninhado não tinha o campo de destino.

• Melhora o desempenho e a estabilidade ao gravar no Parquet usando $out para S3.

• Adiciona a capacidade de usar qualquer tipo BSON com o operador e a query $comment no $queryHistory. (A partir do MongoDB 5.1, o operador $comment foi removido).

• O Atlas Data Federation agora retorna MongoDB 6.2.0 na saída buildInfo.

Lançamento de 15 de fevereiro de 2023

• Adiciona a capacidade de limitar a quantidade de dados que o Atlas Data Federation processa para suas instância do banco de dados federado para controlar os custos.

Lançamento de 07 de fevereiro de 2023

• Melhora as mensagens de erro quando um cliente tenta inserir, atualizar ou excluir um documento em uma instância do banco de dados federado.

Lançamento de 24 de janeiro de 2023

• Adiciona o nome do aplicativo às conexões que o Atlas Data Federation cria para seus Atlas clusters.

• Adiciona a capacidade de definir e atualizar a configuração de armazenamento usando a API do Atlas.

Versão de 11 de janeiro de 2023

• Corrige um problema que fez com que maxTimeMS com um batchSize de 0 falhasse.

Lançamento de 19 de dezembro de 2022

• Adiciona novos recursos à configuração de armazenamento para suportar a procedência dos dados e maior flexibilidade para federação.

• Adiciona a região Amazon Web Services ap-southeast-1 (Cingapura).

Lançamento de 30 de novembro de 2022

• Atualiza o Atlas Data Federation para MongoDB 6.0.2.

Lançamento de 15 de novembro de 2022

• Suporta killOp para collStats.

Lançamento de 25 de outubro de 2022

• Melhora o desempenho e a estabilidade.

• Melhora o desempenho da query em conjuntos de dados do Atlas Data Lake usando metadados de classificação para otimizar as queries.

• Corrige um problema que fazia com que o Atlas Data Federation não pudesse ler um arquivo Parquet quando o esquema de nível superior ou raiz era marcado como REPEATED ou OPTIONAL.

• Melhora a estabilidade ao gravar no Parquet usando $out para S3.

Lançamento de 13 de setembro de 2022

• Corrige o problema de pipeline $not e $in que causava preocupação de expressão não suportada.

• Melhora o desempenho para query de $out a S3 que grava em formato de arquivo Parquet.

• Atualiza o tamanho máximo do grupo de linhas padrão para 128 MB para o gravador de parquet.

• Improves $group stages on Data Lake Dataset partition fields.

• Corrige os pipelines de agregação com vários estágios $lookup em que um estágio define um campo e outro remove o mesmo campo.

• Corrige como o Atlas Data Federation lida com arquivos em S3 que terminam com o caractere delimitador (por exemplo, '/').

Lançamento de 23 de agosto de 2022

• Melhora o desempenho e a estabilidade.

• Adiciona suporte para a especificação opcional de um formato ISODate para otimizar o desempenho para partições do tipo data.

Versão de 02 de agosto de 2022

• Melhora o desempenho e a estabilidade.

• Executa $merge em parte.

Lançamento de 12 de julho de 2022

• Melhora o desempenho e a estabilidade.

• O Atlas agora cobra pelo número total de bytes que o Atlas Data Federation processa de fontes HTTP .

• Adiciona suporte para a opção de background no estágio de aggregation $merge .

Lançamento de 21 de junho de 2022

• Melhora o desempenho e a estabilidade.

• Adiciona suporte para Atlas Data Lake como um "Tipo de Armazenamento" ao comando createStore .

• Melhora as mensagens de erro para query federadas $search .

07 de junho de 2022 Lançamento

• Renomeia e reinicia a ingestão de dados como Atlas Data Federation.

  Importante

  O serviço do mecanismo de consulta federado anteriormente chamado de Atlas Data Lake agora é chamado de Atlas Data Federation. Para saber mais sobre Atlas Data Federation, consulte Atlas Data Federation.

Lançamento de 31 de maio de 2022

• Melhora o desempenho e a estabilidade.

• Desabilita o suporte para o dialeto MySQL.

Lançamento de 10 de maio de 2022

• Melhora o desempenho e a estabilidade.

Versão de 19 de abril de 2022

• Melhora o desempenho e a estabilidade.

• Suporta os seguintes novos operadores de agregação MongoDB 5.2:

  • $sortArray

  • $topN

  • $bottomN

  • $maxN

  • $firstN

  • $lastN

• Corrige um erro para permitir que você use a preferência de leitura para clusters fragmentados.

Lançamento de 29 de março de 2022

• Melhora o desempenho e a estabilidade.

Lançamento de 15 de março de 2022

• Melhora o desempenho e a estabilidade.

• Impõe um limite superior em maxRowGroupSize.

Lançamento de 15 de fevereiro de 2022

• Melhora o desempenho e a estabilidade.

• Renomeia o campo matchComments para queryFilterComments . Para saber mais, consulte Recuperar histórico de query da instância do banco de dados federado.

Lançamento de 18 de janeiro de 2022

• Melhora o desempenho e a estabilidade.

• Adiciona o campo matchComments ao histórico de queries. Para saber mais, consulte Recuperar histórico de queries do Data Lake.

Lançamento de 28 de dezembro de 2021

• Melhora o desempenho e a estabilidade.

• Suporta query em collection prefixadas com system, mas não suporta query em collection prefixadas com system..

Lançamento de 07 de dezembro de 2021

• Melhora o desempenho e a estabilidade.

• Adiciona suporte para a opção $maxTimeMS .

Lançamento de 16 de novembro de 2021

• Melhora o desempenho e a estabilidade.

• Permite conexões com ingestão de dados por meio de endpoints privados.

• Adiciona suporte para autorização X.509.

• Adds support for empty field parameters with the $setField aggregation expression.

• Corrige um problema em que os comandos retornavam zero códigos de saída em caso de falha.

• Corrige um problema em que documentos com subdocumentos vazios gravados no Parquet continham grupos de parquet vazios.

• Atualiza EstimateRowGroupSize para relatar UncompressedSize para documentos armazenados no Parquet.

• Ajusta o valor mínimo para maxRowGroupSize ao utilizar $out para Parquet para 16MB.

• Remove o suporte para o uso de $out para gravar documentos que contêm campos duplicados no Parquet.

• Melhora as mensagens de erro para $out.

Lançamento de 27 de outubro de 2021

• Melhora o desempenho e a estabilidade.

• Includes X.509 users in the usersInfo command output.

• Melhora o desempenho da autenticação SCRAM.

Lançamento de 05 de outubro de 2021

• Melhora o desempenho e a estabilidade.

• Adiciona suporte para o comando authenticate .

• Preserva subtipos binários no leitor/gravador de parquet.

Lançamento de 14 de setembro de 2021

• Fornece várias melhorias de estabilidade e desempenho.

• Adiciona suporte para a região ap-south-1 .

• Gera logs de query do cliente em várias linhas.

• Inclui o campo background na saída $queryHistory.

• Suporta reconhecimento de data center e collection curinga para o armazenamento de dados do Atlas.

Lançamento de 25 de agosto de 2021

• Fornece várias melhorias de estabilidade.

• Melhora o desempenho e a estabilidade dos comandos collStats e dbStats .

• Adds support for the $merge aggregation pipeline stage.

• Permite localField e foreignField com uma sintaxe de estágio de pipeline de agregação $lookup mais expressiva.

• Implementa o acumulador $count .

Lançamento de 03 de agosto de 2021

• Melhora o desempenho.

• Melhora as mensagens de erro.

• Adiciona os campos computeTime e automaticRefreshInProgress às saídas de comando collStats e dbStats .

Lançamento de 12 de julho de 2021

• Suporta a eliminação de armazenamentos e reconhecimento de data center inexistentes da configuração de armazenamento.

• Inclui partitions.count na saída do comando collStats .

Lançamento de 23 de junho de 2021

• Allows downloading Data Federation query logs from the UI and API.

• Remove a restrição de grandes namespace de collection.

• Adiciona a opção para ignorar o cache para collStats e dbStats para buscar as estatísticas mais recentes.

• Suporta o comando serverStatus .

Lançamento de 8 de junho de 2021

• Melhora a estabilidade e o desempenho.

• Suporta armazenamentos de dados públicos do S3 com o sinalizador de configuração do public .

• Suporta compressão padrão ao federar query para cluster do Atlas.

• Adiciona o campo db ao resultado dbStats .

Lançamento de 11 de maio de 2021

• Suporta a seleção de read preference, read tags e max staleness por meio da configuração de armazenamento para armazenamentos do Atlas Cluster.

• Rejeita comandos enviados com um conjunto de API versionada.

• Habilita o parâmetro count no estágio de agregação Data lake $collStats (Atlas Data Federation).

• Não é mais permitido o estágio$collStats (Atlas Data Federation) em subpipelines $facet.

• Impõe o tamanho máximo do documento para $facet após o processamento de cada item.

• Melhora o desempenho de $match estágios.

• Melhora as mensagens de erro.

Lançamento de 21 de abril de 2021

• Melhora a estabilidade e o desempenho.

• Inclui suporte aprimorado para Parquet.

• Suporta M0, M2, & M5 cluster do Atlas como conjunto de dados.

• Adiciona a opção de correspondência de padrão regex para collection curinga de cluster do Atlas.

• Inclui mensagens de erro atualizadas para o limite de execução da query.

Lançamento em 30 de março de 2021

• Gera a configuração de armazenamento automaticamente pela primeira vez após a autenticação do usuário.

• Retorna a ID da conexão por meio do comando hello .

• Suporta $geoNear em coleções do Atlas Data Lake que abrangem vários clusters do Atlas.

• Inclui várias melhorias de desempenho.

• Inclui mensagens de erro aprimoradas para query encerradas.

Lançamento de 09 de março de 2021

• Inclui nova interface de configuração de armazenamento e integração.

• Mensagem de erro de esquema SQL aprimorada.

• Suporte a pushdown de query para collection compostas por múltiplas collection do Atlas.

• Melhora a estabilidade e o desempenho.

Lançamento de 16 de fevereiro de 2021

• Adds SQL schema generation for wildcard collections.

• Corrige problemas de estabilidade e desempenho.

Lançamento de 26 de janeiro de 2021

• Adiciona um novo $sql formatVersion para reduzir o tamanho dos dados do conjunto de resultados.

• Melhora o desempenho do estágio$lookup (Atlas Data Federation).

• Adds "verbosity": "queryPlannerExtended" support to the explain command to filter out non-matching partitions.

• Adds support for $$NOW.

• Relata o Atlas Data Lake como MongoDB versão 4.4 para as ferramentas.

Lançamento de 5 de janeiro de 2021

• Adiciona suporte para a opção de background no estágio de aggregation $out to Atlas .

• Inclui melhorias de estabilidade e desempenho.

Lançamento de 16 de dezembro de 2020

• Adiciona a opção {background: true}, que permite que as query sejam executar em segundo plano para o $out, que vai para o estágio S3.

• Apresenta o estágio de aggregation $queryHistory para visualizar query anteriores.

• Inclui várias melhorias de desempenho e estabilidade.

Lançamento de 24 de novembro de 2020

• Suporta os formatos Parquet, CSV e TSV para $out a S3.

• Adiciona um limite contínuo para cursores.

• Melhora as mensagens de erro para comandos que não podem ser analisados.

Lançamento de 03 de novembro de 2020

• Supports the $geoNear and $graphLookup aggregation pipeline stages in queries on federated database instance collections that reference a single Atlas collection.

• Atualiza informações resumidas no resultado de explicação .

Lançamento de 13 de outubro de 2020

• Suporta defaultFormat para arquivos em URLs acessíveis publicamente em armazenamentos HTTP .

• Limita o número de query simultâneas para 30 por instância do banco de dados federado.

• Suporta o formato de compressão bzip2 .

• Suporta a opção comment para o comando agregado .

• Inclui várias melhorias de desempenho e estabilidade.

Lançamento de 22 de setembro de 2020

• Suporta o comando killOp para encerrar uma query de longa duração.

• Adiciona configuration para o número máximo de coleções wildcard para armazenar instância do banco de dados federado S3.

Lançamento de 01 de setembro de 2020

• Suporta HTTP URL como conjunto de dados.

• Suporta as classes de armazenamento do Amazon Web Services S3 Intelligent Tiering e Standard-Infrequent Access.

• Supports $unionWith aggregation stage.

• Restringe a autenticação de string de conexão da instância do banco de dados federado a um usuário por vez.

• Inclui melhorias gerais de desempenho e estabilidade.

Lançamento de 18 de agosto de 2020

• Melhora o desempenho de gravar de $out para S3.

• Inclui melhorias gerais de desempenho e estabilidade.

Lançamento de 13 de agosto de 2020

• Adiciona correlationID à saída $currentOp .

• Inclui melhorias gerais de desempenho e estabilidade.

Lançamento de 28 de julho de 2020

• Relaxa $out S3 requisito de região.

• Inclui mensagens de erro de configuração de armazenamento aprimoradas.

• Inclui melhorias gerais de desempenho e estabilidade.

Lançamento de 14 de julho de 2020

• Supports $collStats aggregation pipeline stage.

• Inclui otimizações de desempenho para arquivos ORC.

• Inclui melhorias gerais de desempenho e estabilidade.

Lançamento de 07 de julho de 2020

• Adiciona suporte para os campos skip e limit ao comando count() .

Lançamento de 16 de junho de 2020

• Adiciona o comando storageValidateConfig para validar a configuração de armazenamento da instância do banco de dados federado.

• Inclui correções de bugs e melhorias de desempenho.

Lançamento de 02 de junho de 2020

• Inclui melhorias gerais de desempenho e estabilidade.

Lançamento de 26 de maio de 2020

• Adds support for Atlas Clusters as a data source.

• Melhora o desempenho do agregação pipeline stage Stage $lookup ( Atlas Data Federation ).

• Adiciona suporte para avaliar expressões de string $convert no filename para $out para S3.

• Atualiza o suporte do Parquet para tipos de MAP.

• Melhora as mensagens de erro para $out para S3.

• Adiciona um comando para gerar uma configuração de armazenamento.

Lançamento de 12 de maio de 2020

• Automatiza a geração de configuração de armazenamento para instância do banco de dados federado recém-criadas.

• Allows write partitioning-aware data to S3 using the $out in Data Federation.

Lançamento de 05 de maio de 2020

• Gera configurações de armazenamento quando o Atlas cria uma instância do banco de dados federado.

• Adiciona suporte para $out a S3.

• Atualiza o suporte para o elemento LIST do Apache Parquet.

• Upgrades wire protocol support to 4.2 from 3.6.

• Adiciona suporte para verbosidade no plano de explicação.

Lançamento de 26 de abril de 2020

• Corrige problemas de estabilidade.

Lançamento de 14 de abril de 2020

• Melhora o desempenho.

• Supports the $currentOp stage so that you can monitor query progress on long-running queries.

• Atualiza o atributo ISODate para aceitar formatos adicionais.

• Atualiza o catálogo de metadados quando você usa os comandos de Configuração de Armazenamento .

Lançamento de 26 de março de 2020

• Inclui várias melhorias de desempenho e estabilidade.

• Supports filename field references for $out.

• Suporta $toString em $out a S3.

Lançamento de 09 de março de 2020

• Supports optionally granting federated database instance write access to S3 buckets, enabling use of $out semantics to write directly to those buckets.

• Adiciona comandos incrementais de armazenamento, reconhecimento de data center, collection e visualização para o gerenciamento da configuração de armazenamento.

• Limita as collection retornadas para collection curinga a 1.000.

• Atualiza o formato da configuração de armazenamento.

Lançamento de 11 de fevereiro de 2020

• Supports cross-database $lookup queries.

• Suporta extensões de arquivo em minúsculas e maiúsculas.

• Os segmentos de modelo agora suportam nomes de atributos separados por pontos que correspondem a campos aninhados.

Lançamento de 21 de janeiro de 2020

• Permite que o defaultFormat seja especificado sem um ponto à esquerda.

• Suporta filtragem com base em faixas para arquivos no formato ORC.

• Permite que atributos de query sejam extraídos após o primeiro estágio.

Lançamento em 10 de dezembro de 2019

• Inclui várias melhorias de desempenho e estabilidade.

• Suporta definição de partição para o seguinte:

  • epoch_secs, que é um segundo desde a Era UNIX

  • epoch_millis, que é milésimos de segundo desde a Era UNIX

  • UUID, que é o subtipo binário 4

Lançamento de 11 de novembro de 2019

• Inclui várias melhorias de desempenho e estabilidade.

• Adiciona suporte para leitura de arquivos Apache ORC.

Lançamento de 29 de outubro de 2019

• Suporta a filtragem de partições por estatísticas de grupo de linhas de arquivos Parquet.

• Supports ObjectIds in the path when specifying partition databases.<database>.<collection>.[n].definition.

Lançamento de 08 de outubro de 2019

• Retorna um erro se uma query produzir um documento maior que 16 MiB.

• The $indexStats stage now produces an empty list of indexes instead of an error.

• Supports $out to S3 storage format in JSON.

• $match agora trata implicitamente todos os termos como conjunções.

• Não analisa mais arquivos vazios.

• Corrige um problema que fez com que a expressão {$match: {$expr: {$and: []}}} encerrasse a conexão.

Lançamento de 17 de setembro de 2019

• Permite campos aninhados em definições de partição.

• Não enumera mais diretórios no S3 quando um único subdiretório contendo todas as partições correspondentes à query é identificado.

• Corrige um problema em que a nova configuração de armazenamento não aparecia na conexão de emissão após a execução de setStorageConfig.

Lançamento de 21 de agosto de 2019

• Adds support for the getLastError database command.

• Corrige um erro na forma como os tipos de união são tratados na Avro.

• Supports $out aggregation pipeline stage to S3.

• listIndexes agora sempre retorna uma lista vazia.

• Traduz chaves CSV e TSV delimitadas por ponto em subdocumentos.

• A mensagem de erro de configuração de armazenamento agora inclui um link para a documentação.

• Suporta o formato de arquivo SQLSX.

• Inclui o ID de correlação em mensagens de erro de execução de query.

• Retorna um erro ao cliente quando o limite de armazenamento do cursor é atingido.

• Returns an error to the client on the last getMore if the cursor storage limit is exceeded.

30 de julho de 2019

• Supports listCommands. For example: db.runCommand({"listCommands": 1})

• Includes partition size information in the output of explain().

08 de julho de 2019

• Retorna o primeiro lote de resultados do cursor mais rapidamente.

• Improves performance of $lookup when combined with $unwind.

• Suporta automaticamente credenciais do SCRAM-SHA-1 sem exigir que drivers especifiquem este mecanismo de autenticação.

• Fornece uma mensagem de erro descritiva quando o formato do arquivo é desconhecido.

• Fornece validação adicional no setStorageConfig.

18 de junho de 2019

Lançamento inicial da pré-visualização pública do Atlas Data Federation.