Docs 菜单
Docs 主页
/
MongoDB Atlas
/

Data Federation 变更日志

在此页面上

  • 2024 年发布
  • 2023 年发布
  • 2022 年发布
  • 2021 年发布
  • 2020 年发布
  • 2019 年发布

注意

发布说明仅提及具有功能更改的版本

MongoDB 每周都会发布 Atlas Data Federation,不断提高 Atlas Data Federation 的性能和稳定性。 这些发布说明仅包含包含功能更改的版本。 如果特定的 Atlas Data Federation 版本仅包含性能和稳定性改进,则不会包含在这些发布说明中。 要确定您使用的是哪个发布版本,请检查发布版本字符串以了解发布日期。

  • 能力读取具有 zstd 列压缩的 Parquet 文件。

  • 更改哪些区域处理不支持地区的数据:

    • ca-central-1 (Montreal) 将进程来自ca-west-1 (Alberta)而不是eu-west-1 (Ireland)的数据。

    • ap-northeast-1 (Tokyo) 将处理数据:

      • 来自ap-northeast-2 (Seoul)而不是eu-west-1 (Ireland)

      • 来自ap-northeast-3 (Osaka)而不是eu-west-1 (Ireland)

      • 来自ap-east-1 (Hong Kong)而不是ap-southeast-2 (Sydney)

  • 修复了killOp命令无法终止查询的问题。

  • 在 Atlas Data Federation 视图上添加对$sql阶段的支持。

  • 修复创建视图时Atlas Data Federation未正确检查权限的问题。

  • 解决了 ISO 8602格式的生成日期导致查询结果不正确的问题。

  • Python修复了使用 IAM 身份验证时导致Amazon Web Services 驱动程序无法连接的问题。

  • 修复导致$limit查询失败并返回InternalError的问题。

  • 改进了查询规划器中的模板分区筛选,从而提高了在某些情况下针对多个 blob 存储源的查询性能。

  • 如果您 配置Amazon Web Services Amazon Web ServicesIAM 进行身份验证,则支持 IAM。Atlas 用户界面目前不支持此功能。

  • 将错误CommandNotSupported更改为CommandNotFound

  • 提高了读取Parquet文件时的性能。

  • 添加了对使用collMod修改视图的支持。

  • 添加将.jsonl文件自动识别为 JSON Lines 文件。

  • 修复了sqlGenerateSchema无法在 Online 存档源上运行的问题。

  • 改进了超过maxTimeMS限制的错误消息。

  • 改进了针对 Atlas Data Lake 数据集和 Online Archive 的查询的explain()结果

  • 提高使用$ne操作符的查询性能。

  • 当您通过 Atlas Data Federation 对 Atlas 集群运行$search查询时,支持$$SEARCH_META聚合变量。

  • 为最常见的 Atlas Data Federation 使用案例的模板引入新的入门体验

  • 改进了$out 到 S3查询的错误消息以提供更多详细信息。

  • 优化分区属性,以便在聚合管道中使用 $in 操作符时选择 S3 上的文件。

  • 修改$queryHistory的行为,以在以下情况下指示查询已完成:所有批次均已作为游标文件上传、所有批次均已返回给用户或存在错误。

  • 添加在命令中的注释字段中使用 BSON 数据的功能。

  • 改进了查询超过 16 MB 的文档时的错误消息。

  • 修复$getFields的正确性问题;在该问题中,在查询空子文档时,Atlas Data Federation 与 MongoDB 不同。

  • 提高写入 Parquet 时$outS3的稳定性和性能。

  • 修复了$match查询的一个问题,该问题会导致在查询数组中的嵌套文档时无法返回文档,因为任何嵌套文档都缺少目标字段。

  • 提高使用$out写入 Parquet 到S3时的性能和稳定性。

  • 新增在$queryHistory中使用任何 BSON 类型与$comment操作符和查询的功能。

  • Atlas Data Federation 现在会在buildInfo 输出中返回 MongoDB 6.2.0。

  • 改进了客户端尝试在联合数据库实例中插入、更新或删除文档时的错误消息。

  • 修复了导致maxTimeMSbatchSize0 失败的问题。

  • 将 Atlas Data Federation 更新至 MongoDB 6.0.2。

  • 提高性能和稳定性。

  • 使用排序元数据来优化查询,从而提高 Atlas Data Lake 数据集的查询性能。

  • 修复当顶级模式或根模式标记为REPEATEDOPTIONAL时,导致 Atlas Data Federation 无法读取 Parquet 文件的问题。

  • 提高了使用$out写入 Parquet 到S3时的稳定性。

  • 修复了导致表达式不支持的严重错误的$not$in管道问题。

  • 提高了写入 Parquet 文件格式的$outS3查询的性能。

  • 将 Parquet 写入器的默认最大行组大小更新为 128MB。

  • 改进了 Data Lake 数据集分区字段的$group阶段。

  • 修复具有多个$lookup阶段的聚合管道,其中一个阶段定义一个字段,而另一个阶段删除同一字段。

  • 修复 Atlas Data Federation 如何处理S3中以分隔符结尾的文件(例如 '/')。

  • 提高性能和稳定性。

  • 添加了对有选择地指定 ISODate 格式的支持,以优化日期类型分区的性能。

  • 提高性能和稳定性。

  • 分块执行$merge

  • 提高性能和稳定性。

  • Atlas 现在按 Atlas Data Federation 从HTTP源处理的总字节数收费。

  • $merge聚合阶段添加对后台选项的支持。

  • 提高性能和稳定性。

  • 新增对 Atlas Data Lake 作为createStore命令的“存储类型”的支持。

  • 改进联合$search查询的错误消息传递。

  • 将 Atlas Data Lake 重命名为 Atlas Data Federation,并重新启动。

    重要

    以前称为 Atlas Data Lake 的联合查询引擎服务现在称为 Atlas Data Federation。 要了解有关 Atlas Data Federation 的更多信息,请参阅设置和查询 Data Federation。

  • 提高性能和稳定性。

  • 禁用对 MySQL 方言的支持。

  • 提高性能和稳定性。

  • 提高性能和稳定性。

  • 支持以下新的 MongoDB 5.2 聚合操作符:

    • $sortArray

    • $topN

    • $bottomN

    • $maxN

    • $firstN

    • $lastN

  • 修复了一个错误,以允许您使用分片集群的读取偏好(read preference)。

  • 提高性能和稳定性。

  • 提高性能和稳定性。

  • maxRowGroupSize施加上限

  • 提高性能和稳定性。

  • 支持对前缀为system的collection进行查询,但不支持对前缀为system.的collection进行查询。

  • 提高性能和稳定性。

  • 添加对$maxTimeMS选项的支持。

  • 提高性能和稳定性。

  • 允许通过私有端点连接到数据湖。

  • 添加对 X.509 授权的支持。

  • 添加对带有$setField聚合表达式的空field参数的支持。

  • 修复命令在失败时返回零退出代码的问题。

  • 修复了写入 Parquet 且具有空子文档的文档包含空 Parquet 群组的问题。

  • 更新EstimateRowGroupSize以报告 Parquet 中存储的文档的UncompressedSize

  • $out使用 Parquet 时的maxRowGroupSize最小值调整为 16MB。

  • 删除了对使用$out将包含重复字段的文档写入 Parquet 的支持。

  • 改进了$out的错误消息。

  • 提高性能和稳定性。

  • 包括usersInfo命令输出中的 X. 509用户。

  • 提高 SCRAM 身份验证性能。

  • 提高性能和稳定性。

  • 添加对authenticate命令的支持。

  • 在 Parquet 读取器/写入器中保留二进制子类型。

  • 提供各种稳定性改进。

  • 提高了collStatsdbStats命令的性能和稳定性。

  • 新增对$merge聚合管道阶段的支持。

  • 允许使用更具表现力的$lookup聚合管道阶段语法的localFieldforeignField

  • 实现$count累加器。

  • 提高性能。

  • 改进了错误消息传递。

  • computeTimeautomaticRefreshInProgress字段添加到collStatsdbStats命令输出。

  • 允许从用户界面API下载Data Federation查询日志。

  • 删除对大型集合命名空间的限制。

  • collStatsdbStats添加了绕过缓存的选项,以获取最新的统计信息。

  • 支持serverStatus命令。

  • 提高稳定性和性能。

  • 支持带有public配置标志的公共 S3 数据存储。

  • 将联合查询与 Atlas 集群时支持 Zstandard 压缩。

  • db字段添加到dbStats结果中。

  • 支持通过存储配置为 Atlas 集群存储选择读取偏好、读取标签和最大过时时间。

  • 拒绝使用版本化 API 集发送的命令。

  • 在data lake$collStats聚合阶段启用count参数。

  • 不再允许在$facet子管道中使用 { $collStats

  • 处理完每个项目后,强制执行$facet的最大文档大小。

  • 提高了$match阶段的性能。

  • 改进了错误消息传递。

  • 提高稳定性和性能。

  • 包括改进对 Parquet 的支持。

  • 支持将M0M2M5 Atlas 集群作为数据源。

  • 为 Atlas 集群中的通配符集合添加正则表达式模式匹配选项。

  • 包括更新的查询执行限制错误消息。

  • 用户身份验证后首次自动生成存储配置。

  • 通过hello命令返回连接 ID。

  • 在跨多个 Atlas 集群的 Atlas Data Lake 集合上支持$geoNear

  • 包括各种性能改进。

  • 包括改进的终止查询的错误消息。

  • 包括新的载入和存储配置界面。

  • 改进了 SQL 模式错误消息。

  • 支持对由多个 Atlas 集合组成的集合进行查询下推。

  • 提高稳定性和性能。

  • 为通配符collection添加了SQL 模式生成

  • 修复稳定性和性能问题。

  • 添加新的$sql formatVersion ,以减小结果集的数据大小。

  • 提高了$lookup的性能。

  • 解释命令中添加"verbosity": "queryPlannerExtended"支持以过滤掉不匹配的分区。

  • 添加对$$NOW 的支持。

  • 向工具报告 Atlas Data Lake 为 MongoDB 版本 4.4。

  • $out to Atlas聚合阶段添加对后台选项的支持。

  • 包括稳定性和性能改进。

  • 添加{background: true}选项,允许查询在$outS3阶段的背景运行。

  • 引入$queryHistory聚合阶段来查看过去的查询。

  • 包括各种性能和稳定性改进。

  • 支持$outS 3的 Parquet、CSV 和 TSV 格式。

  • 为游标添加滚动限制。

  • 改进了无法解析的命令的错误消息。

  • 支持对defaultFormat HTTP 存储中可公开访问的 URL 中的文件使用 。

  • 将每个联合数据库实例的并发查询数限制为 30 个。

  • 支持bzip2压缩格式。

  • 支持聚合命令的comment选项。

  • 包括各种性能和稳定性改进。

  • 支持用于终止长时间运行的查询的killOp命令。

  • configuration S3 联合数据库实例存储的collection的最大数量添加了 。

  • 提高$outS3的写入性能。

  • 包括一般性能和稳定性改进。

  • correlationID添加到$currentOp输出。

  • 包括一般性能和稳定性改进。

  • 放宽了$out S3地区要求。

  • 包括改进的存储配置错误消息。

  • 包括一般性能和稳定性改进。

  • 支持$collStats聚合管道阶段。

  • 包括针对 ORC 的性能优化 文件。

  • 包括一般性能和稳定性改进。

  • count()命令中添加对skiplimit字段的支持。

  • 添加storageValidateConfig命令以验证联合数据库实例存储配置。

  • 包括错误修复和性能改进。

  • 包括一般性能和稳定性改进。

  • 添加对Atlas 集群作为数据源的支持。

  • 提高了$lookup聚合管道阶段的性能。

  • 添加了对将 的 $out中的3 string$convert 表达式计算为 Sfilename 的支持。

  • 更新 Parquet 支持 MAP 类型。

  • 改进了$outS3的错误消息传递。

  • 添加用于生成存储配置的命令。

  • 自动为新创建的联合数据库实例生成存储配置。

  • 允许使用 Data Federation 中的$out将分区感知数据写入 S 3 。

  • 在 Atlas 创建联合数据库实例时生成存储配置。

  • $out S3 中添加对 的支持。

  • 更新对 Apache Parquet 的支持 LIST 元素。

  • 传输协议 支持从 升级到4.2 3.6。

  • 在解释计划中添加对详细程度的支持。

  • 修复稳定性问题。

  • 提高性能。

  • 支持$currentOp阶段,以便您可以监控长时间运行的查询的查询进度。

  • 更新isodate属性以接受其他格式。

  • 使用存储配置命令时刷新元数据目录。

  • 支持选择授予联合数据库实例对 S 3存储桶的写入权限,从而允许使用$out语义直接写入这些存储桶。

  • 添加用于存储配置管理的增量存储数据库collection视图命令。

  • 将通配符集合返回的集合限制为 1,000 个。

  • 更新存储配置格式。

  • 支持跨数据库$lookup查询。

  • 支持小写和大写文件扩展名。

  • 模板段现在支持与嵌套字段相对应的点分隔属性名称。

  • 允许指定不带前导点的defaultFormat

  • 支持基于条带化筛选 ORC 格式文件。

  • 允许在第一阶段之后提取查询属性。

  • 包括多项性能和稳定性改进。

  • 支持以下内容的分区定义:

    • epoch_secs,这是自 Unix 纪元以来的秒数

    • epoch_millis,这是自 Unix 纪元以来的毫秒数

    • UUID,这是二进制子类型 4

  • 包括多项性能和稳定性改进。

  • 新增对读取 Apache ORC 文件的支持。

  • 如果查询生成的文档大于 16 MiB,则返回错误。

  • $indexStats阶段现在会生成空索引列表,而不是错误。

  • 支持 JSON 中的$out到 S 3存储格式。

  • $match 现在会隐式将所有术语视为连词。

  • 不再解析空文件。

  • 修复导致{$match: {$expr: {$and: []}}}表达式终止连接的问题。

  • 添加对getLastError数据库命令的支持。

  • 修复了 Avro 中处理联合类型的错误。

  • 支持从$out聚合管道阶段到 S 3 。

  • listIndexes 现在总是返回一个空列表。

  • 将点分隔的 CSV 和 TSV 键转换为子文档。

  • 存储配置错误消息现在包含文档链接。

  • 支持 XLSX 文件格式。

  • 在查询执行错误消息中包含相关 ID。

  • 达到游标存储限制时,向客户端返回错误。

  • 如果超出游标存储限制,则在最后一个getMore向客户端返回错误。

设置和查询 Data Federation 的初始公共预览版。

后退

Atlas