Data Federation 变更日志
注意
发布说明仅提及具有功能更改的版本
MongoDB 每周都会发布 Atlas Data Federation,不断提高 Atlas Data Federation 的性能和稳定性。 这些发布说明仅包含包含功能更改的版本。 如果特定的 Atlas Data Federation 版本仅包含性能和稳定性改进,则不会包含在这些发布说明中。 要确定您使用的是哪个发布版本,请检查发布版本字符串以了解发布日期。
2024 年发布
18 6 月2024发布:
21 5 月2024发布:
通过 OIDC for Atlas Data Federation添加对编程工作负载的支持。 要学习;了解详情,请参阅使用 OAuth 设置 Workload Identity Federation 2.0 。
如果您是管理员用户或具有
killop
权限的用户,则可以使用killOp命令查询对联合数据库的任何查询。 发出查询的用户也可以终止查询。
14 5 月2024发布:
更改哪些区域处理不支持地区的数据:
ca-central-1 (Montreal)
将进程来自ca-west-1 (Alberta)
而不是eu-west-1 (Ireland)
的数据。ap-northeast-1 (Tokyo)
将处理数据:来自
ap-northeast-2 (Seoul)
而不是eu-west-1 (Ireland)
。来自
ap-northeast-3 (Osaka)
而不是eu-west-1 (Ireland)
。来自
ap-east-1 (Hong Kong)
而不是ap-southeast-2 (Sydney)
。
修复了killOp命令无法终止查询的问题。
9 4 月2024发布:
在 Atlas Data Federation 视图上添加对
$sql
阶段的支持。修复创建视图时Atlas Data Federation未正确检查权限的问题。
2024 年 3 月 26 日发布
解决了 ISO 8602格式的生成日期导致查询结果不正确的问题。
2024 年 3 月 19 日发布
Python修复了使用 IAM 身份验证时导致Amazon Web Services 驱动程序无法连接的问题。
修复导致
$limit
查询失败并返回InternalError
的问题。改进了查询规划器中的模板分区筛选,从而提高了在某些情况下针对多个 blob 存储源的查询性能。
2024 年 2 月 28 日发布
使Azure 数据存储普遍可用于开发和生产部署。
2024 年 2 月 14 日发布
2024 年 1 月 31 日发布
如果您 配置Amazon Web Services Amazon Web ServicesIAM 进行身份验证,则支持 IAM。Atlas 用户界面目前不支持此功能。
2023 年发布
2023 年 12 月 5 日发布
将错误
CommandNotSupported
更改为CommandNotFound
。
2023 年 11 月 28 日发布
支持OIDC for Microsoft Entra ID、Okta 和 Ping Identity 作为IdP 。 要学习;了解详情,请参阅使用 OIDC/OAuth 2.0进行身份验证和授权。
2023 年 10 月 31 日发布
提高了读取Parquet文件时的性能。
添加了对使用
collMod
修改视图的支持。添加将
.jsonl
文件自动识别为 JSON Lines 文件。修复了sqlGenerateSchema无法在 Online 存档源上运行的问题。
2023 年 8 月 22 日发布
将
lastModified
时间戳字段添加到S3对象来源元数据中。 要了解更多信息,请参阅databases.[n].collections.[n].dataSources.[n].provenanceFieldName
。支持 Atlas Online Archive 数据集的来源元数据。
2023 年 8 月 8 日发布
改进了超过maxTimeMS限制的错误消息。
改进了针对 Atlas Data Lake 数据集和 Online Archive 的查询的explain()结果。
2023 年 8 月 1 日发布
提高使用$ne操作符的查询性能。
2023 年 7 月 25 日发布
允许您为 Atlas 集群 数据存储设立 读关注(read concern) 。
2023 年 6 月 27 日发布
当您通过 Atlas Data Federation 对 Atlas 集群运行
$search
查询时,支持$$SEARCH_META
聚合变量。
2023 年 6 月 13 日发布
2023 年 5 月 9 日发布
优化分区属性,以便在聚合管道中使用 $in 操作符时选择 S3 上的文件。
2023 年 4 月 18 日发布
修改
$queryHistory
的行为,以在以下情况下指示查询已完成:所有批次均已作为游标文件上传、所有批次均已返回给用户或存在错误。添加在命令中的注释字段中使用 BSON 数据的功能。
2023 年 4 月 4 日发布
改进了查询超过 16 MB 的文档时的错误消息。
修复$getFields的正确性问题;在该问题中,在查询空子文档时,Atlas Data Federation 与 MongoDB 不同。
提高写入 Parquet 时$out到S3的稳定性和性能。
2023 年 2 月 21 日发布
修复了
$match
查询的一个问题,该问题会导致在查询数组中的嵌套文档时无法返回文档,因为任何嵌套文档都缺少目标字段。提高使用
$out
写入 Parquet 到S3时的性能和稳定性。新增在$queryHistory中使用任何 BSON 类型与
$comment
操作符和查询的功能。Atlas Data Federation 现在会在buildInfo 输出中返回 MongoDB 6.2.0。
2023 年 2 月 15 日发布
添加限制 Atlas Data Federation 为联合数据库实例处理的数据量以控制成本的功能。
2023 年 2 月 7 日发布
改进了客户端尝试在联合数据库实例中插入、更新或删除文档时的错误消息。
2023 年 1 月 24 日发布
将应用程序名称添加到 Atlas Data Federation 创建的与 Atlas 集群的连接中。
新增使用 Atlas Data Federation API 设置和更新存储配置的功能。
2023 年 1 月 11 日发布
修复了导致
maxTimeMS
为batchSize
的0
失败的问题。
2022 年发布
2022 年 12 月 19 日发布
2022 年 11 月 30 日发布
将 Atlas Data Federation 更新至 MongoDB 6.0.2。
2022 年 11 月 15 日发布
2022 年 10 月 25 日发布
提高性能和稳定性。
使用排序元数据来优化查询,从而提高 Atlas Data Lake 数据集的查询性能。
修复当顶级模式或根模式标记为
REPEATED
或OPTIONAL
时,导致 Atlas Data Federation 无法读取 Parquet 文件的问题。提高了使用
$out
写入 Parquet 到S3时的稳定性。
2022 年 9 月 13 日发布
修复了导致表达式不支持的严重错误的
$not
和$in
管道问题。提高了写入 Parquet 文件格式的
$out
到S3查询的性能。将 Parquet 写入器的默认最大行组大小更新为 128MB。
改进了 Data Lake 数据集分区字段的
$group
阶段。修复具有多个
$lookup
阶段的聚合管道,其中一个阶段定义一个字段,而另一个阶段删除同一字段。修复 Atlas Data Federation 如何处理S3中以分隔符结尾的文件(例如 '/')。
2022 年 8 月 23 日发布
提高性能和稳定性。
添加了对有选择地指定 ISODate 格式的支持,以优化日期类型分区的性能。
2022 年 8 月 02 日发布
提高性能和稳定性。
分块执行$merge 。
2022 年 7 月 12 日发布
提高性能和稳定性。
Atlas 现在按 Atlas Data Federation 从HTTP源处理的总字节数收费。
在$merge聚合阶段添加对后台选项的支持。
2022 年 6 月 21 日发布
提高性能和稳定性。
新增对 Atlas Data Lake 作为
createStore
命令的“存储类型”的支持。改进联合
$search
查询的错误消息传递。
2022 年 6 月 07 日发布
将 Atlas Data Lake 重命名为 Atlas Data Federation,并重新启动。
重要
以前称为 Atlas Data Lake 的联合查询引擎服务现在称为 Atlas Data Federation。 要了解有关 Atlas Data Federation 的更多信息,请参阅设置和查询 Data Federation。
2022 年 5 月 31 日发布
提高性能和稳定性。
禁用对 MySQL 方言的支持。
2022 年 5 月 10 日发布
提高性能和稳定性。
2022 年 4 月 19 日发布
提高性能和稳定性。
支持以下新的 MongoDB 5.2 聚合操作符:
$sortArray
$topN
$bottomN
$maxN
$firstN
$lastN
修复了一个错误,以允许您使用分片集群的读取偏好(read preference)。
2022 年 3 月 29 日发布
提高性能和稳定性。
2022 年 3 月 15 日发布
提高性能和稳定性。
对
maxRowGroupSize
施加上限。
2022 年 2 月 15 日发布
提高性能和稳定性。
将
matchComments
字段重命名为queryFilterComments
。 要了解更多信息,请参阅检索联合数据库实例查询历史记录。
2022 年 1 月 18 日发布
提高性能和稳定性。
将
matchComments
字段添加到查询历史记录中。 To learn more, see Retrieve Data Lake Query History.
2021 年发布
2021 年 12 月 28 日发布
提高性能和稳定性。
支持对前缀为
system
的collection进行查询,但不支持对前缀为system.
的collection进行查询。
2021 年 12 月 7 日发布
提高性能和稳定性。
添加对$maxTimeMS选项的支持。
2021 年 11 月 16 日发布
提高性能和稳定性。
允许通过私有端点连接到数据湖。
添加对 X.509 授权的支持。
添加对带有$setField聚合表达式的空
field
参数的支持。修复命令在失败时返回零退出代码的问题。
修复了写入 Parquet 且具有空子文档的文档包含空 Parquet 群组的问题。
更新
EstimateRowGroupSize
以报告 Parquet 中存储的文档的UncompressedSize
。将
$out
使用 Parquet 时的maxRowGroupSize
最小值调整为 16MB。删除了对使用
$out
将包含重复字段的文档写入 Parquet 的支持。改进了
$out
的错误消息。
2021 年 10 月 27 日发布
提高性能和稳定性。
包括usersInfo命令输出中的 X. 509用户。
提高 SCRAM 身份验证性能。
2021 年 10 月 5 日发布
提高性能和稳定性。
添加对
authenticate
命令的支持。在 Parquet 读取器/写入器中保留二进制子类型。
2021 年 9 月 14 日发布
提供各种稳定性和性能改进。
新增对
ap-south-1
地区的支持。将客户查询日志输出到多行中。
在$queryHistory 输出中包含
background
字段。支持 Atlas 数据存储的通配符数据库和collection。
2021 年 8 月 25 日发布
2021 年 8 月 3 日发布
提高性能。
改进了错误消息传递。
将
computeTime
和automaticRefreshInProgress
字段添加到collStats
和dbStats
命令输出。
2021 年 7 月 12 日发布
2021 年 6 月 23 日发布
删除对大型集合命名空间的限制。
支持serverStatus命令。
2021 年 6 月 8 日发布
提高稳定性和性能。
支持带有
public
配置标志的公共 S3 数据存储。将联合查询与 Atlas 集群时支持 Zstandard 压缩。
将
db
字段添加到dbStats
结果中。
2021 年 5 月 11 日发布
支持通过存储配置为 Atlas 集群存储选择读取偏好、读取标签和最大过时时间。
拒绝使用版本化 API 集发送的命令。
在data lake
$collStats
聚合阶段启用count
参数。不再允许在
$facet
子管道中使用 {$collStats
。处理完每个项目后,强制执行
$facet
的最大文档大小。提高了
$match
阶段的性能。改进了错误消息传递。
2021 年 4 月 21 日发布
提高稳定性和性能。
包括改进对 Parquet 的支持。
支持将
M0
、M2
和M5
Atlas 集群作为数据源。为 Atlas 集群中的通配符集合添加正则表达式模式匹配选项。
包括更新的查询执行限制错误消息。
2021 年 3 月 30 日发布
用户身份验证后首次自动生成存储配置。
通过
hello
命令返回连接 ID。在跨多个 Atlas 集群的 Atlas Data Lake 集合上支持
$geoNear
。包括各种性能改进。
包括改进的终止查询的错误消息。
2021 年 3 月 9 日发布
包括新的载入和存储配置界面。
改进了 SQL 模式错误消息。
支持对由多个 Atlas 集合组成的集合进行查询下推。
提高稳定性和性能。
2021 年 2 月 16 日发布
为通配符collection添加了SQL 模式生成。
修复稳定性和性能问题。
2021 年 1 月 26 日发布
添加新的
$sql
formatVersion
,以减小结果集的数据大小。提高了
$lookup
的性能。在解释命令中添加
"verbosity": "queryPlannerExtended"
支持以过滤掉不匹配的分区。添加对$$NOW 的支持。
向工具报告 Atlas Data Lake 为 MongoDB 版本 4.4。
2021 年 1 月 5 日发布
在$out to Atlas聚合阶段添加对后台选项的支持。
包括稳定性和性能改进。
2020 年发布
2020 年 12 月 16 日发布
添加
{background: true}
选项,允许查询在$out
到S3阶段的背景运行。引入
$queryHistory
聚合阶段来查看过去的查询。包括各种性能和稳定性改进。
2020 年 11 月 24 日发布
支持
$out
到S 3的 Parquet、CSV 和 TSV 格式。为游标添加滚动限制。
改进了无法解析的命令的错误消息。
2020 年 11 月 3 日发布
支持对引用单个 Atlas 集合的联合数据库实例集合进行查询时使用
$geoNear
和$graphLookup
聚合管道阶段。更新解释输出中的摘要信息。
2020 年 10 月 13 日发布
支持对
defaultFormat
HTTP 存储中可公开访问的 URL 中的文件使用 。将每个联合数据库实例的并发查询数限制为 30 个。
支持
bzip2
压缩格式。支持聚合命令的
comment
选项。包括各种性能和稳定性改进。
2020 年 9 月 22 日发布
支持用于终止长时间运行的查询的killOp命令。
configuration
为 S3 联合数据库实例存储的collection的最大数量添加了 。
2020 年 9 月 1 日发布
支持将HTTP URL作为数据源。
支持Amazon Web Services S3 智能分层 和 标准-不频繁访问 存储类。
支持
$unionWith
聚合阶段。一次只能对一个用户进行联合数据库实例连接字符串身份验证。
包括一般性能和稳定性改进。
2020 年 8 月 18 日发布
提高$out到S3的写入性能。
包括一般性能和稳定性改进。
2020 年 8 月 13 日发布
将
correlationID
添加到$currentOp输出。包括一般性能和稳定性改进。
2020 年 7 月 28 日发布
2020 年 7 月 14 日发布
支持
$collStats
聚合管道阶段。包括针对 ORC 的性能优化 文件。
包括一般性能和稳定性改进。
2020 年 7 月 7 日发布
在
count()
命令中添加对skip
和limit
字段的支持。
2020 年 6 月 16 日发布
添加
storageValidateConfig
命令以验证联合数据库实例存储配置。包括错误修复和性能改进。
2020 年 6 月 2 日发布
包括一般性能和稳定性改进。
2020 年 5 月 26 日发布
2020 年 5 月 12 日发布
自动为新创建的联合数据库实例生成存储配置。
允许使用 Data Federation 中的
$out
将分区感知数据写入 S 3 。
2020 年 5 月 5 日发布
在 Atlas 创建联合数据库实例时生成存储配置。
在
$out
S3 中添加对 的支持。更新对 Apache Parquet 的支持 LIST 元素。
将 传输协议 支持从 升级到4.2 3.6。
在解释计划中添加对详细程度的支持。
2020 年 4 月 26 日发布
修复稳定性问题。
2020 年 4 月 14 日发布
提高性能。
支持$currentOp阶段,以便您可以监控长时间运行的查询的查询进度。
更新isodate属性以接受其他格式。
使用存储配置命令时刷新元数据目录。
2020 年 3 月 26 日发布
包括各种性能和稳定性改进。
2020 年 3 月 9 日发布
支持选择授予联合数据库实例对 S 3存储桶的写入权限,从而允许使用
$out
语义直接写入这些存储桶。添加用于存储配置管理的增量存储、数据库、collection和视图命令。
将通配符集合返回的集合限制为 1,000 个。
更新存储配置格式。
2020 年 2 月 11 日发布
支持跨数据库
$lookup
查询。支持小写和大写文件扩展名。
模板段现在支持与嵌套字段相对应的点分隔属性名称。
2020 年 1 月 21 日发布
允许指定不带前导点的defaultFormat 。
支持基于条带化筛选 ORC 格式文件。
允许在第一阶段之后提取查询属性。
2019 年发布
2019 年 12 月 10 日发布
包括多项性能和稳定性改进。
支持以下内容的分区定义:
epoch_secs
,这是自 Unix 纪元以来的秒数epoch_millis
,这是自 Unix 纪元以来的毫秒数UUID
,这是二进制子类型 4
2019 年 11 月 11 日发布
包括多项性能和稳定性改进。
新增对读取 Apache ORC 文件的支持。
2019 年 10 月 29 日发布
支持按 Parquet 文件行组 筛选分区 统计。
指定分区
databases.<database>.<collection>.[n].definition
时,支持在路径中使用ObjectId 。
2019 年 10 月 8 日发布
如果查询生成的文档大于 16 MiB,则返回错误。
$indexStats
阶段现在会生成空索引列表,而不是错误。支持 JSON 中的
$out
到 S 3存储格式。$match
现在会隐式将所有术语视为连词。不再解析空文件。
修复导致
{$match: {$expr: {$and: []}}}
表达式终止连接的问题。
2019 年 9 月 17 日发布
允许在分区定义中嵌套字段。
当识别到单个子目录包含与查询匹配的所有分区时,不再枚举 S3 上的目录。
2019 年 8 月 21 日发布
添加对
getLastError
数据库命令的支持。修复了 Avro 中处理联合类型的错误。
支持从
$out
聚合管道阶段到 S 3 。listIndexes
现在总是返回一个空列表。将点分隔的 CSV 和 TSV 键转换为子文档。
存储配置错误消息现在包含文档链接。
支持 XLSX 文件格式。
在查询执行错误消息中包含相关 ID。
达到游标存储限制时,向客户端返回错误。
如果超出游标存储限制,则在最后一个
getMore
向客户端返回错误。
2019 年 7 月 30 日
支持
listCommands
。 例如:db.runCommand({"listCommands": 1})
2019 年 7 月 8 日
更快地返回第一批游标结果。
自动支持
SCRAM-SHA-1
档案,无需驱动程序指定此身份验证机制。当文件格式未知时,提供描述性错误消息。