Data Federation 变更日志

18 6 月2024发布：

• 支持使用能力列压缩读取Parquet文件的zstd。

21 5 月2024发布：

• 通过OIDC for Atlas Data Federation添加对编程工作负载的支持。 要学习；了解更多信息，请参阅使用 OAuth 设置 Workload Identity Federation 2.0 。

• 如果您是管理员用户或具有killop权限的用户，则可以使用killOp命令查询对联合数据库的任何查询。 发出查询的用户也可以终止查询。

14 5 月2024发布：

• 更改哪些区域处理不支持地区的数据：

  • ca-central-1 (Montreal) 将进程来自ca-west-1 (Alberta)而不是eu-west-1 (Ireland)的数据。

  • ap-northeast-1 (Tokyo) 将处理数据：

    • 来自ap-northeast-2 (Seoul)而不是eu-west-1 (Ireland) 。

    • 来自ap-northeast-3 (Osaka)而不是eu-west-1 (Ireland) 。

    • 来自ap-east-1 (Hong Kong)而不是ap-southeast-2 (Sydney) 。

• 修复了killOp命令无法终止查询的问题。

9 4 月2024发布：

• 在 Atlas Data Federation 视图上添加对$sql阶段的支持。

• 修复创建视图时Atlas Data Federation未正确检查权限的问题。

2024 年 3 月 26 日发布

• 解决了 ISO 8602格式的生成日期导致查询结果不正确的问题。

2024 年 3 月 19 日发布

• 修复了使用 AWS IAM身份验证时Python驱动程序无法连接的问题。

• 修复导致$limit查询失败并返回InternalError的问题。

• 改进了查询规划器中的模板分区筛选，从而提高了在某些情况下针对多个 blob 存储源的查询性能。

2024 年 2 月 28 日发布

• 使Azure 数据存储普遍可用于开发和生产部署。

2024 年 2 月 14 日发布

• 支持针对Atlas Data Federation和Online Archive 的私有端点连接使用单独的连接字符串。

2024 年 1 月 31 日发布

• 如果配置 AWS IAM进行身份验证，则支持AWS IAM。 Atlas 用户界面目前不支持此功能。

2023 年 12 月 5 日发布

• 将错误CommandNotSupported更改为CommandNotFound 。

2023 年 11 月 28 日发布

• 支持OIDC for Microsoft Entra ID、Okta 和 Ping Identity 作为IdP 。 要学习；了解详情，请参阅使用 OIDC/OAuth 2.0进行身份验证和授权。

2023 年 10 月 31 日发布

• 提高了读取Parquet文件时的性能。

• 添加了对使用collMod修改视图的支持。

• 添加将.jsonl文件自动识别为 JSON Lines 文件。

• 修复了 sqlGenerateSchema 无法在 在线 存档源上运行的问题。

2023 年 8 月 22 日发布

• 将lastModified时间戳字段添加到S3对象来源元数据中。 要了解更多信息，请参阅databases.[n].collections.[n].dataSources.[n].provenanceFieldName 。

• 支持 Atlas Online Archive 数据集的来源元数据。

2023 年 8 月 8 日发布

• 改进了超过maxTimeMS限制的错误消息。

• 改进了针对 Atlas Data Lake 数据集和 Online Archive 的查询的explain()结果。

2023 年 8 月 1 日发布

• 提高使用$ne操作符的查询性能。

2023 年 7 月 25 日发布

• 允许您为 Atlas 集群 数据存储设立 读关注（read concern） 。

2023 年 6 月 27 日发布

• 当您通过 Atlas Data Federation 对 Atlas 集群运行 $search 查询时，支持 $$SEARCH_META 聚合变量。

2023 年 6 月 13 日发布

• 为最常见的 Atlas Data Federation 使用案例的模板引入新的入门体验。

• 改进了$out 到 S3查询的错误消息以提供更多详细信息。

2023 年 5 月 9 日发布

• 在聚合管道中使用 $in 操作符时，优化分区属性以选择 S 上的文件。3

2023 年 4 月 18 日发布

• 修改$queryHistory的行为，以在以下情况下指示查询已完成：所有批次均已作为游标文件上传、所有批次均已返回给用户或存在错误。

• 添加在命令中的注释字段中使用 BSON 数据的功能。

2023 年 4 月 4 日发布

• 改进了查询超过 16 MB 的文档时的错误消息。

• 修复$getFields的正确性问题；在该问题中，在查询空子文档时，Atlas Data Federation 与 MongoDB 不同。

• 提高写入 Parquet 时$out到S3的稳定性和性能。

2023 年 2 月 21 日发布

• 修复了$match查询的一个问题，该问题会导致在查询数组中的嵌套文档时无法返回文档，因为任何嵌套文档都缺少目标字段。

• 提高使用 $out to S3 写入 Parquet 时的性能和稳定性。

• 添加通过 $comment操作符和 $queryHistory 中的查询来使用任何BSON类型的能力。（从MongoDB 5.1 开始，$comment操作符已被删除）。

• Atlas Data Federation 现在会在buildInfo 输出中返回 MongoDB 6.2.0。

2023 年 2 月 15 日发布

• 添加限制 Atlas Data Federation 为联合数据库实例处理的数据量以控制成本的功能。

2023 年 2 月 7 日发布

• 改进了客户端尝试在联合数据库实例中插入、更新或删除文档时的错误消息。

2023 年 1 月 24 日发布

• 将应用程序名称添加到 Atlas Data Federation 创建的与 Atlas 集群的连接中。

• 添加使用Atlas API设立和更新存储配置的能力。

2023 年 1 月 11 日发布

• 修复了导致maxTimeMS 为batchSize 的0 失败的问题。

2022 年 12 月 19 日发布

• 为存储配置添加新功能以支持数据来源，并提高联合的灵活性。

• 添加AWS 区域ap-southeast-1 （新加坡）。

2022 年 11 月 30 日发布

• 将 Atlas Data Federation 更新至 MongoDB 6.0.2。

2022 年 11 月 15 日发布

• 支持 collStats 的killOp 。

2022 年 10 月 25 日发布

• 提高性能和稳定性。

• 使用排序元数据来优化查询，从而提高 Atlas Data Lake 数据集的查询性能。

• 修复当顶级模式或根模式标记为REPEATED或OPTIONAL时，导致 Atlas Data Federation 无法读取 Parquet 文件的问题。

• 提高了使用 $out to S3 写入 Parquet 时的稳定性。

2022 年 9 月 13 日发布

• 修复了导致表达式不支持的严重错误的$not和$in管道问题。

• 提高了写入 Parquet 文件格式的S3查询的$out性能。

• 将 Parquet 写入器的默认最大行组大小更新为 128MB。

• 改进了 Data Lake 数据集分区字段的$group阶段。

• 修复具有多个$lookup阶段的聚合管道，其中一个阶段定义一个字段，而另一个阶段删除同一字段。

• 修复 Atlas Data Federation 如何处理S3中以分隔符结尾的文件（例如 '/'）。

2022 年 8 月 23 日发布

• 提高性能和稳定性。

• 添加了对有选择地指定 ISODate 格式的支持，以优化日期类型分区的性能。

2022 年 8 月 02 日发布

• 提高性能和稳定性。

• 分块执行$merge 。

2022 年 7 月 12 日发布

• 提高性能和稳定性。

• Atlas 现在按 Atlas Data Federation 从HTTP源处理的总字节数收费。

• 在$merge聚合阶段添加对后台选项的支持。

2022 年 6 月 21 日发布

• 提高性能和稳定性。

• 新增对 Atlas Data Lake 作为createStore命令的“存储类型”的支持。

• 改进联合$search查询的错误消息传递。

2022 年 6 月 07 日发布

• 将 Atlas Data Lake 重命名为 Atlas Data Federation，并重新启动。

  重要

  以前称为Atlas Data Lake 的联合查询引擎服务现在称为Atlas Data Federation。 要学习；了解有关Atlas Data Federation 的更多信息，请参阅Atlas Data Federation。

2022 年 5 月 31 日发布

• 提高性能和稳定性。

• 禁用对 MySQL 方言的支持。

2022 年 5 月 10 日发布

• 提高性能和稳定性。

2022 年 4 月 19 日发布

• 提高性能和稳定性。

• 支持以下新的 MongoDB 5.2 聚合操作符：

  • $sortArray

  • $topN

  • $bottomN

  • $maxN

  • $firstN

  • $lastN

• 修复了一个错误，以允许您使用分片集群的读取偏好（read preference）。

2022 年 3 月 29 日发布

• 提高性能和稳定性。

2022 年 3 月 15 日发布

• 提高性能和稳定性。

• 对maxRowGroupSize施加上限。

2022 年 2 月 15 日发布

• 提高性能和稳定性。

• 将matchComments字段重命名为queryFilterComments 。 要了解更多信息，请参阅检索联合数据库实例查询历史记录。

2022 年 1 月 18 日发布

• 提高性能和稳定性。

• 将matchComments字段添加到查询历史记录中。 To learn more, see Retrieve Data Lake Query History.

2021 年 12 月 28 日发布

• 提高性能和稳定性。

• 支持对前缀为system的collection进行查询，但不支持对前缀为system.的collection进行查询。

2021 年 12 月 7 日发布

• 提高性能和稳定性。

• 添加对$maxTimeMS选项的支持。

2021 年 11 月 16 日发布

• 提高性能和稳定性。

• 允许通过私有端点连接到数据湖。

• 添加对 X.509 授权的支持。

• 添加对带有$setField聚合表达式的空field参数的支持。

• 修复命令在失败时返回零退出代码的问题。

• 修复了写入 Parquet 且具有空子文档的文档包含空 Parquet 群组的问题。

• 更新EstimateRowGroupSize以报告 Parquet 中存储的文档的UncompressedSize 。

• 将maxRowGroupSize $out 用于 Parquet16 时 的最小值调整为 MB。

• 删除对使用$out将包含重复字段的文档写入Parquet 的支持。

• 改进了 $out 的错误消息。

2021 年 10 月 27 日发布

• 提高性能和稳定性。

• 包括usersInfo命令输出中的 X. 509用户。

• 提高 SCRAM 身份验证性能。

2021 年 10 月 5 日发布

• 提高性能和稳定性。

• 添加对authenticate命令的支持。

• 在 Parquet 读取器/写入器中保留二进制子类型。

2021 年 9 月 14 日发布

• 提供各种稳定性和性能改进。

• 新增对ap-south-1地区的支持。

• 将客户查询日志输出到多行中。

• 在$queryHistory 输出中包含background字段。

• 支持 Atlas 数据存储的通配符数据库和collection。

2021 年 8 月 25 日发布

• 提供各种稳定性改进。

• 提高了collStats和dbStats命令的性能和稳定性。

• 新增对$merge聚合管道阶段的支持。

• 允许使用更具表现力的$lookup聚合管道阶段语法的localField和foreignField 。

• 实现$count累加器。

2021 年 8 月 3 日发布

• 提高性能。

• 改进了错误消息传递。

• 将computeTime和automaticRefreshInProgress字段添加到collStats和dbStats命令输出。

2021 年 7 月 12 日发布

• 支持从存储配置中删除不存在的存储和数据库。

• 在collStats命令输出中包含partitions.count 。

2021 年 6 月 23 日发布

• 允许从用户界面和API下载Data Federation查询日志。

• 删除对大型集合命名空间的限制。

• 为collStats和dbStats添加了绕过缓存的选项，以获取最新的统计信息。

• 支持serverStatus命令。

2021 年 6 月 8 日发布

• 提高稳定性和性能。

• 支持带有public配置标志的公共 S3 数据存储。

• 将联合查询与 Atlas 集群时支持 Zstandard 压缩。

• 将db字段添加到dbStats结果中。

2021 年 5 月 11 日发布

• 支持通过存储配置为 Atlas 集群存储选择读取偏好、读取标签和最大过时时间。

• 拒绝使用版本化 API 集发送的命令。

• 在 data lake $collStats 阶段 (Atlas Data Federation)聚合阶段启用 count 参数。

• 不再允许在 $facet 子管道中使用 $collStats 阶段 (Atlas Data Federation)。

• 处理完每个项目后，强制执行$facet的最大文档大小。

• 提高了$match阶段的性能。

• 改进了错误消息传递。

2021 年 4 月 21 日发布

• 提高稳定性和性能。

• 包括改进对 Parquet 的支持。

• 支持将M0 、 M2和M5 Atlas 集群作为数据源。

• 为 Atlas 集群中的通配符集合添加正则表达式模式匹配选项。

• 包括更新的查询执行限制错误消息。

2021 年 3 月 30 日发布

• 用户身份验证后首次自动生成存储配置。

• 通过hello命令返回连接 ID。

• 在跨多个 Atlas 集群的 Atlas Data Lake 集合上支持$geoNear 。

• 包括各种性能改进。

• 包括改进的终止查询的错误消息。

2021 年 3 月 9 日发布

• 包括新的载入和存储配置界面。

• 改进了 SQL 模式错误消息。

• 支持对由多个 Atlas 集合组成的集合进行查询下推。

• 提高稳定性和性能。

2021 年 2 月 16 日发布

• 为通配符集合添加了 SQL 架构生成。

• 修复稳定性和性能问题。

2021 年 1 月 26 日发布

• 添加新的 $sql formatVersion 以减小结果设立的数据大小。

• 提高了 $lookup 阶段 (Atlas Data Federation) 的性能。

• 在解释命令中添加"verbosity": "queryPlannerExtended"支持以过滤掉不匹配的分区。

• 添加对$$NOW 的支持。

• 向工具报告 Atlas Data Lake 为 MongoDB 版本 4.4。

2021 年 1 月 5 日发布

• 在$out to Atlas聚合阶段添加对后台选项的支持。

• 包括稳定性和性能改进。

2020 年 12 月 16 日发布

• 添加 {background: true} 选项，允许查询在背景运行$out to S3 阶段。

• 引入$queryHistory聚合阶段来查看过去的查询。

• 包括各种性能和稳定性改进。

2020 年 11 月 24 日发布

• 支持$out到S 3的 Parquet、 逗号分隔值（CSV）和制表符分隔值（TSV）格式。

• 为游标添加滚动限制。

• 改进了无法解析的命令的错误消息。

2020 年 11 月 3 日发布

• 支持对引用单个 Atlas 集合的联合数据库实例集合进行查询时使用$geoNear和$graphLookup聚合管道阶段。

• 更新解释输出中的摘要信息。

2020 年 10 月 13 日发布

• 支持对HTTP存储中可公开访问的URL中的文件使用defaultFormat 。

• 将每个联合数据库实例的并发查询数限制为 30 个。

• 支持bzip2压缩格式。

• 支持聚合命令的comment选项。

• 包括各种性能和稳定性改进。

2020 年 9 月 22 日发布

• 支持用于终止长时间运行的查询的killOp命令。

• configuration为 S3 联合数据库实例存储的最大数量添加了 。

2020 年 9 月 1 日发布

• 支持将HTTP URL作为数据源。

• 支持Amazon Web Services S3 智能分层和标准-非频繁访问存储类。

• 支持$unionWith聚合阶段。

• 一次只能对一个用户进行联合数据库实例连接字符串身份验证。

• 包括一般性能和稳定性改进。

2020 年 8 月 18 日发布

• 提高$out到S3的写入性能。

• 包括一般性能和稳定性改进。

2020 年 8 月 13 日发布

• 将correlationID添加到$currentOp输出。

• 包括一般性能和稳定性改进。

2020 年 7 月 28 日发布

• 放宽 $out S3 地区要求。

• 包括改进的存储配置错误消息。

• 包括一般性能和稳定性改进。

2020 年 7 月 14 日发布

• 支持$collStats聚合管道阶段。

• 包括针对ORC 文件的性能优化。

• 包括一般性能和稳定性改进。

2020 年 7 月 7 日发布

• 在count()命令中添加对skip和limit字段的支持。

2020 年 6 月 16 日发布

• 添加storageValidateConfig命令以验证联合数据库实例存储配置。

• 包括错误修复和性能改进。

2020 年 6 月 2 日发布

• 包括一般性能和稳定性改进。

2020 年 5 月 26 日发布

• 添加对Atlas 集群作为数据源的支持。

• 提高了 $lookup 阶段 (Atlas Data Federation)聚合管道阶段的性能。

• 添加了对将 $out 的filename 中的字符串3 $convert 表达式计算为 S 的支持。

• 更新 Parquet 对 MAP 类型 的支持。

• 改进了 $out 至 S3 的错误消息传递。

• 添加用于生成存储配置的命令。

2020 年 5 月 12 日发布

• 自动为新创建的联合数据库实例生成存储配置。

• 允许使用 Data Federation 中的$out将分区感知数据写入 S 3 。

2020 年 5 月 5 日发布

• 在 Atlas 创建联合数据库实例时生成存储配置。

• 在$out S3 中添加了对 的支持。

• 更新了对Apache Parquet LIST 元素的支持。

• 将 传输协议 支持从 升级到4.2 3.6。

• 在解释计划中添加对详细程度的支持。

2020 年 4 月 26 日发布

• 修复稳定性问题。

2020 年 4 月 14 日发布

• 提高性能。

• 支持$currentOp阶段，以便您可以监控长时间运行的查询的查询进度。

• 更新isodate属性以接受其他格式。

• 使用存储配置命令时刷新元数据目录。

2020 年 3 月 26 日发布

• 包括各种性能和稳定性改进。

• 支持$out的文件名字段引用。

• 支持 到 S3 $out中的 $toString 。

2020 年 3 月 9 日发布

• 支持选择授予联合数据库实例对 S 3存储桶的写入权限，从而允许使用$out语义直接写入这些存储桶。

• 添加用于存储配置管理的增量存储、数据库、collection和视图命令。

• 将通配符集合返回的集合限制为 1,000 个。

• 更新存储配置格式。

2020 年 2 月 11 日发布

• 支持跨数据库$lookup查询。

• 支持小写和大写文件扩展名。

• 模板段现在支持与嵌套字段相对应的点分隔属性名称。

2020 年 1 月 21 日发布

• 允许指定不带前导点的defaultFormat 。

• 支持基于条带化筛选 ORC 格式文件。

• 允许在第一阶段之后提取查询属性。

2019 年 12 月 10 日发布

• 包括多项性能和稳定性改进。

• 支持以下内容的分区定义：

  • epoch_secs，这是自 Unix 纪元以来的秒数

  • epoch_millis，这是自 Unix 纪元以来的毫秒数

  • UUID，这是二进制子类型 4

2019 年 11 月 11 日发布

• 包括多项性能和稳定性改进。

• 新增对读取 Apache ORC 文件的支持。

2019 年 10 月 29 日发布

• 支持按Parquet文件行群组统计信息筛选分区。

• 指定分区databases.<database>.<collection>.[n].definition时，支持在路径中使用ObjectId 。

2019 年 10 月 8 日发布

• 如果查询生成的文档大于 16 MiB，则返回错误。

• $indexStats阶段现在会生成空索引列表，而不是错误。

• 支持 JSON 中的$out到 S 3存储格式。

• $match 现在会隐式将所有术语视为连词。

• 不再解析空文件。

• 修复导致{$match: {$expr: {$and: []}}}表达式终止连接的问题。

2019 年 9 月 17 日发布

• 允许在分区定义中嵌套字段。

• 当识别到单个子目录包含与查询匹配的所有分区时，不再枚举 S3 上的目录。

• 修复了运行setStorageConfig 后新存储配置未出现在发出连接上的问题。

2019 年 8 月 21 日发布

• 添加对getLastError数据库命令的支持。

• 修复了 Avro 中处理联合类型的错误。

• 支持从$out聚合管道阶段到 S 3 。

• listIndexes 现在总是返回一个空列表。

• 将点分隔的 CSV 和 TSV 键转换为子文档。

• 存储配置错误消息现在包含文档链接。

• 支持 XLSX 文件格式。

• 在查询执行错误消息中包含相关 ID。

• 达到游标存储限制时，向客户端返回错误。

• 如果超出游标存储限制，则在最后一个getMore向客户端返回错误。

2019 年 7 月 30 日

• 支持listCommands 。 例如： db.runCommand({"listCommands": 1})

• 在explain()的输出中包含分区大小信息。

2019 年 7 月 8 日

• 更快地返回第一批游标结果。

• 提高了$lookup与$unwind结合使用的性能。

• 自动支持SCRAM-SHA-1档案，无需驱动程序指定此身份验证机制。

• 当文件格式未知时，提供描述性错误消息。

• 对setStorageConfig 提供额外验证。

2019 年 6 月 18 日

Atlas Data Federation的首次公开预览发布。