对于 AI 代理:可在 https://www.mongodb.com/zh-cn/docs/llms.txt 获取文档索引—通过在任何 URL 路径后添加 .md 可获取所有页面的 Markdown 版本。
Docs 菜单

版本说明

了解以下版本中的新功能:

11.1Connector发布包括以下更改和新功能:

  • 添加 change.stream.micro.batch.max.rows 读取配置属性,该属性限制每个微批处理中消耗的变更流事件数量。设置此选项时,连接器会按事件计数而不是批处理之间的经过时间来限制微批处理。限制速率要求将 change.stream.micro.batch.max.partition.count 配置属性设置为 1,并对源数据库中的侧车集合具有写入权限。

  • 添加 change.stream.micro.batch.max.rows.offset.collection 读取配置属性,该属性指定在设置 change.stream.micro.batch.max.rows 属性时用于保持恢复令牌的侧车集合。默认为 __spark_resume_tokens

11.0Connector发布增加了对Spark 4.0 及更高版本的支持。Spark 4.0 需要Scala 2.13。要学习;了解有关Spark 4.0 的详情,请参阅Spark文档。

10.7Connector发布包括以下更改和新功能:

警告

破坏性变更 (breaking change)

如果使用 Spark 3.1.x,则必须升级到 Apache Spark 3.2 或更高版本才能使用 Spark Connector 10.7 版本。Spark Connector 现在仅支持 Apache Spark 3.2 到 3.5 版本。

  • 添加 v11.1 中引入的 change.stream.micro.batch.max.rowschange.stream.micro.batch.max.rows.offset.collection 读取配置属性。这些属性启用对变更流微批处理进行速率限制。如需学习;了解更多信息,请参阅 v11.1发布说明。

10.6Connector发布包括以下更改和新功能:

  • 在变更流读取配置中添加对 fullDocumentBeforeChange 选项的支持,该选项允许您指定是否在变更流输出中包含变更事件之前的完整文档。要学习;了解有关此选项的更多信息,请参阅流媒体读取配置选项指南的更改流配置部分。

  • 添加 truncateMode写入配置选项,该选项指定在执行覆盖时如何截断集合。要学习;了解有关此选项的更多信息,请参阅相关模式的流媒体写入配置选项批处理写入配置选项指南。

  • 添加 ignoreDuplicatesOnInsert写入配置选项,该选项确定在执行无序插入操作时是否忽略重复键错误。您可以在批处理和流媒体写入配置中使用此选项。要学习;了解有关此选项的更多信息,请参阅批处理写入配置选项流媒体写入配置选项指南。

10.5Connector发布包括以下更改和新功能:

  • 新增对在 SamplePartitionerPaginateBySizePartitionerAutoBucketPartitioner批处理读取配置中将Atlas Data Federation与Spark Connector结合使用的支持。

    有关批处理配置的更多信息,请参阅批量读取配置选项页面。

  • 默认批处理读取分区器配置更改为 AutoBucketPartitioner

10.4Connector发布包括以下更改和新功能:

  • 将Java Sync Driver版本更新到 v5.1.x。

10.3 connector版本包括以下新功能:

  • 添加了对 Spark v 3.3 、 v 3.4和 v 3.5 。

  • 添加了对使用微批处理或连续流模式时读取多个集合的支持。

    警告

    破坏性变更 (breaking change)

    对读取多个集合的支持引入了以下重大更改:

    • 如果collection配置选项中使用的集合名称包含逗号,则 Spark Connector 会将其视为两个不同的集合。 为避免这种情况,必须在逗号前面加上反斜杠 (\) 来对逗号进行转义。

    • 如果collection配置选项中使用的集合名称为“*”,Spark Connector 会将其解释为扫描所有集合的规范。 为避免这种情况,必须在星号前加上反斜杠 (\) 对星号进行转义。

    • 如果collection配置选项中使用的集合名称包含反斜杠 (\),则 Spark Connector 会将反斜杠视为转义字符,这可能会改变它对该值的解释方式。 为避免这种情况,必须在反斜杠前面加上另一个反斜杠来对其进行转义。

    要了解有关扫描多个集合的更多信息,请参阅集合配置属性说明。

10.2 connector版本包括以下新功能:

  • 添加了 ignoreNullValues 写入配置属性,使您能够控制connector是否忽略空值。 在以前的版本中, connector始终将 null 值写入MongoDB 。

  • convertJson写入配置属性添加了选项。

  • 添加了change.stream.micro.batch.max.partition.count读取配置属性,该属性允许您将微批处理划分为多个分区以进行并行处理。

  • 改进使用change.stream.publish.full.document.only读取配置属性时的变更流模式推断。

  • 添加了 change.stream.startup.mode 读取配置属性,该属性指定connector在没有可用偏移量时如何处理更改事件。

  • 支持为操作添加注释。

  • 更正了包括$collStats管道阶段在内的聚合未返回时间序列集合的计数字段的错误。
  • 支持 Scala 2.13 。

  • 通过 Spark 结构化流支持微批处理模式。

  • 支持 BSON 数据类型。

  • 改进分区器对空集合的支持。

  • 用于禁用写入操作时自动更新或插入的选项。

  • 改进了空数组的模式推断。

  • 支持数组和列表中的 null 值。 connector现在会将这些值写入MongoDB ,而不是抛出异常。

有关更多信息,请参阅 上的 这篇文章 MongoDB Blog。

  • 支持 Spark 结构化流。