版本说明

MongoDBconnector适用于 的Spark10.2

10.2 connector版本包括以下新功能：

• 添加了 ignoreNullValues写入配置属性，该属性使您能够控制connector是否忽略空值。在以前的版本中，connector始终将null值写入 MongoDB。

• 为convertJson写入配置属性添加了选项。

• 添加了change.stream.micro.batch.max.partition.count读取配置属性，该属性允许您将微批处理划分为多个分区以进行并行处理。

• 改进使用change.stream.publish.full.document.only读取配置属性时的变更流模式推断。

• 添加了 change.stream.startup.mode 读取配置属性，该属性指定connector在没有可用偏移量时如何处理更改事件。

• 支持为操作添加注释。

MongoDBconnector适用于 的Spark10.1.1

• 更正了包括$collStats管道阶段在内的聚合未返回时间序列集合的计数字段的错误。

MongoDBconnector适用于 的Spark10.1.0

• 支持 Scala 2.13 。

• 通过 Spark 结构化流支持微批处理模式。

• 支持 BSON 数据类型。

• 改进分区器对空集合的支持。

• 用于禁用写入操作时自动更新或插入的选项。

• 改进了空数组的模式推断。

• 支持数组和列表中的 null 值。 connector现在会将这些值写入MongoDB ，而不是抛出异常。

有关更多信息，请参阅 上的 这篇文章 MongoDB Blog。

MongoDBconnector适用于 的Spark10.0.0

• 支持 Spark 结构化流。