了解以下版本中的新功能:
MongoDBconnector适用于 的Spark11.1
11.1Connector发布包括以下更改和新功能:
添加
change.stream.micro.batch.max.rows读取配置属性,该属性限制每个微批处理中消耗的变更流事件数量。设置此选项时,连接器会按事件计数而不是批处理之间的经过时间来限制微批处理。限制速率要求将change.stream.micro.batch.max.partition.count配置属性设置为1,并对源数据库中的侧车集合具有写入权限。添加
change.stream.micro.batch.max.rows.offset.collection读取配置属性,该属性指定在设置change.stream.micro.batch.max.rows属性时用于保持恢复令牌的侧车集合。默认为__spark_resume_tokens。
MongoDBconnector适用于 的Spark11.0
11.0Connector发布增加了对Spark 4.0 及更高版本的支持。Spark 4.0 需要Scala 2.13。要学习;了解有关Spark 4.0 的详情,请参阅Spark文档。
MongoDBconnector适用于 的Spark10.7
10.7Connector发布包括以下更改和新功能:
警告
破坏性变更 (breaking change)
如果使用 Spark 3.1.x,则必须升级到 Apache Spark 3.2 或更高版本才能使用 Spark Connector 10.7 版本。Spark Connector 现在仅支持 Apache Spark 3.2 到 3.5 版本。
- 添加 v11.1 中引入的
change.stream.micro.batch.max.rows和change.stream.micro.batch.max.rows.offset.collection读取配置属性。这些属性启用对变更流微批处理进行速率限制。如需学习;了解更多信息,请参阅 v11.1发布说明。
MongoDBconnector适用于 的Spark10.6
10.6Connector发布包括以下更改和新功能:
在变更流读取配置中添加对
fullDocumentBeforeChange选项的支持,该选项允许您指定是否在变更流输出中包含变更事件之前的完整文档。要学习;了解有关此选项的更多信息,请参阅流媒体读取配置选项指南的更改流配置部分。
MongoDBconnector适用于 的Spark10.5
10.5Connector发布包括以下更改和新功能:
新增对在
SamplePartitioner、PaginateBySizePartitioner和AutoBucketPartitioner批处理读取配置中将Atlas Data Federation与Spark Connector结合使用的支持。有关批处理配置的更多信息,请参阅批量读取配置选项页面。
默认批处理读取分区器配置更改为
AutoBucketPartitioner
MongoDBconnector适用于 的Spark10.4
10.4Connector发布包括以下更改和新功能:
- 将Java Sync Driver版本更新到 v5.1.x。
MongoDBconnector适用于 的Spark10.3
10.3 connector版本包括以下新功能:
添加了对 Spark v 3.3 、 v 3.4和 v 3.5 。
添加了对使用微批处理或连续流模式时读取多个集合的支持。
警告
破坏性变更 (breaking change)
对读取多个集合的支持引入了以下重大更改:
如果
collection配置选项中使用的集合名称包含逗号,则 Spark Connector 会将其视为两个不同的集合。 为避免这种情况,必须在逗号前面加上反斜杠 (\) 来对逗号进行转义。如果
collection配置选项中使用的集合名称为“*”,Spark Connector 会将其解释为扫描所有集合的规范。 为避免这种情况,必须在星号前加上反斜杠 (\) 对星号进行转义。如果
collection配置选项中使用的集合名称包含反斜杠 (\),则 Spark Connector 会将反斜杠视为转义字符,这可能会改变它对该值的解释方式。 为避免这种情况,必须在反斜杠前面加上另一个反斜杠来对其进行转义。
要了解有关扫描多个集合的更多信息,请参阅集合配置属性说明。
MongoDBconnector适用于 的Spark10.2
10.2 connector版本包括以下新功能:
添加了
ignoreNullValues写入配置属性,使您能够控制connector是否忽略空值。 在以前的版本中, connector始终将null值写入MongoDB 。为
convertJson写入配置属性添加了选项。添加了
change.stream.micro.batch.max.partition.count读取配置属性,该属性允许您将微批处理划分为多个分区以进行并行处理。改进使用
change.stream.publish.full.document.only读取配置属性时的变更流模式推断。添加了
change.stream.startup.mode读取配置属性,该属性指定connector在没有可用偏移量时如何处理更改事件。支持为操作添加注释。
MongoDBconnector适用于 的Spark10.1.1
- 更正了包括
$collStats管道阶段在内的聚合未返回时间序列集合的计数字段的错误。
MongoDBconnector适用于 的Spark10.1.0
支持 Scala 2.13 。
通过 Spark 结构化流支持微批处理模式。
支持 BSON 数据类型。
改进分区器对空集合的支持。
用于禁用写入操作时自动更新或插入的选项。
改进了空数组的模式推断。
支持数组和列表中的 null 值。 connector现在会将这些值写入MongoDB ,而不是抛出异常。
有关更多信息,请参阅 上的 这篇文章 MongoDB Blog。
MongoDBconnector适用于 的Spark10.0.0
- 支持 Spark 结构化流。