Docs 菜单

Docs 主页 → 开发应用程序 → MongoDB Kafka Connector

新增功能

在此页面上

  • 1中的新增功能。 11 。 2
  • 1中的新增功能。 11 。 1
  • 1中的新增功能。 11
  • 1中的新增功能。 10 。 1
  • 1中的新增功能。 10
  • 1中的新增功能。 9 。 1
  • 1中的新增功能。 9
  • 1中的新增功能。 8 。 1
  • 1中的新增功能。 8
  • 1中的新增功能。 7
  • 1中的新增功能。 6 。 1
  • 1中的新增功能。 6
  • 1中的新增功能。 5
  • 1中的新增功能。 4
  • 1中的新增功能。 3
  • 1.2 版新增功能
  • 1中的新增功能。 1
  • 1中的新增功能。 0

了解各版本的新增功能：

  • 版本1 。 11 。 2

  • 版本1 。 11 。 1

  • 版本1 。 11

  • 版本1 。 10 。 1

  • 版本1 。 10

  • 版本1 。 9 。 1

  • 版本 1.9

  • 版本1 。 8 。 1

  • 版本1 。 8

  • 版本1 。 7

  • 版本1 。 6 。 1

  • 版本1 。 6

  • 版本1 。 5

  • 版本1 。 4

  • 版本1 。 3

  • 版本1 。 2

  • 版本1 。 1

  • 版本1 。 0

1中的新增功能。 11 。 2

  • 修复了一个错误：从变更流中检索项目的失败尝试会记录在INFO 级别，而不是ERROR 级别。要了解有关此修复的更多信息，请参阅 KAFKA-396 Jira 问题。

  • 修复了一个错误，该错误会导致DELETE_WRITEMODEL_STRATEGY_CONFIG 字符串值的要求阻止创建DeleteOneDefaultStrategy 对象。要了解有关此修复的更多信息，请参阅 KAFKA-395 Jira 问题。

1中的新增功能。 11 。 1

  • 修复文档中部分字段名称的通配符匹配问题。要了解有关此修复的更多信息，请参阅 KAFKA-391 Jira 问题。

  • 修复当连接器尝试记录配置设置的空值时引发空指针异常的问题。要了解有关此修复的更多信息，请参阅 KAFKA-390 Jira 问题。

1中的新增功能。 11

  • 在topic.namespace.map属性中添加了对正则表达式的支持。要了解有关此功能的更多信息并查看其使用示例，请参阅主题命名页面中的正则表达式使用示例。

  • 添加了对使用delete.writemodel.strategy配置属性设置自定义删除写入模型策略的支持。要了解更多信息，请参阅Sink Connector 写入模型策略。

  • 添加了UpdateOneDefaultStrategy写入模型策略。要了解更多信息，请参阅写入模型策略列表。

  • 添加了change.stream.document.key.as.key源连接器配置属性。设置为true时，连接器会将已删除文档的密钥添加到 tombstone 事件中。设置为false时，连接器使用恢复令牌作为 tombstone 事件的源密钥。

    由于此属性默认设置为true ，因此对于某些用户来说，这可能是一项重大更改。要了解详情，请参阅变更流属性列表。

  • 来自 Debezium 的 DDL 事件被记录为空操作，不会再导致错误。

1中的新增功能。 10 。 1

重要

升级到版本1 。 10 。 1

版本1 。 9引入了与MongoSourceTask.start相关的错误，该错误可能会导致连接器端和服务器端出现资源泄漏。

升级到版本1 。 10 。 1如果您使用的是1版本）。 9或1 。连接器的10 。

  • 修复了与版本1中引入的MongoSourceTask.start相关的资源泄漏。 9 。

1中的新增功能。 10

  • 将连接器名称添加到 JMX 监控指标中。

  • 通过创建以下配置选项添加了对 SSL 的支持：

    • connection.ssl.truststore

    • connection.ssl.truststorePassword

    • connection.ssl.keystore

    • connection.ssl.keystorePassword

  • 确保驱动程序在验证配置提供者的配置值之前对其进行解析。

1中的新增功能。 9 。 1

  • 更正了嵌套数组中文档的模式推断行为。

1中的新增功能。 9

  • 引入了startup.mode=timestamp设置，允许您通过设置新的startup.mode.timestamp.start.at.operation.time属性在特定时间戳启动变更流。

  • 已弃用copy.existing属性和所有copy.existing.*属性。使用startup.mode=copy_existing和startup.mode.copy.existing.*属性配置复制现有功能。

  • 引入了change.stream.full.document.before.change设置，允许您在变更流事件文档中访问和配置更新操作的前像。

  • 改进了数组中包含的嵌套文档的模式推断。

  • 引入了publish.full.document.only.tombstones.on.delete设置，该设置将连接器配置为在删除文档时发送 tombstone 事件。此设置仅在publish.full.document.only为true时适用。

  • 将 MongoDB 服务器异常信息添加到死信队列消息中。

1中的新增功能。 8 。 1

  • 将 JMX MBean 中getAttribute()和getAttributes()方法调用返回的类型更正为Attribute 。

1中的新增功能。 8

  • 将 MongoDB Java 驱动程序依赖项更新到版本4 。 7 。

  • 在源连接器和接收器连接器中添加了多个记录器事件和详细信息，以帮助调试。有关更新的完整列表，请参阅 KAFKA-302 Jira 中的问题。

  • 添加了对源连接器和接收器连接器的 JMX 监控支持。要了解有关监控连接器的更多信息，请参阅监控页面。

接收器连接器

  • 添加了对 Debezium MongoDB 变更流 CDC 处理程序的支持。现在，您可以将连接器配置为侦听此处理程序生成的事件。

1中的新增功能。 7

  • 将 MongoDB Java 驱动程序依赖项更新到版本4 。 5

接收器连接器

  • 添加了连接器遇到批量写入错误时的死信队列错误报告

  • 添加了对使用bulk.write.ordered配置属性进行无序批量写入的支持

  • 添加了尝试将变更数据捕获 (CDC) 处理程序与后处理器一起使用时的警告

  • 删除了对max.num.retries配置属性的支持

  • 删除了对retries.defer.timeout配置属性的支持

重要

通过连接 URI 禁用重试

要禁用重试，请在 MongoDB 连接 URI 中指定retryWrites=false选项。

以下配置禁用重试，其中包含占位符 MongoDB 连接 URI：

connection.uri=mongodb://mongodb0.example.com:27017,mongodb1.example.com:27017,mongodb2.example.com:27017/?replicaSet=myRepl&retryWrites=false

要了解有关将 MongoDB Kafka Connector 连接到 MongoDB 的更多信息，请参阅连接到 MongoDB指南。

要了解有关连接 URI 选项的更多信息，请参阅 MongoDB Java 驱动程序文档中的连接选项指南。

来源连接器

缺陷修复

  • 修复 Avro 模式联合验证

1中的新增功能。 6 。 1

  • 将 MongoDB Java 驱动程序依赖项更新为4 。 3 。组合 JAR 中的1

缺陷修复

  • 修复连接验证器用户权限检查

  • 修复了UuidProvidedIn[Key|Value]Strategy类中导致加载的错误

1中的新增功能。 6

  • 添加了对Stable API的支持，以强制服务器以与指定 API 版本兼容的行为运行操作

    注意

    从 2022 年 2 月开始，版本化 API 被称为 Stable API。此次命名更改后，所有概念和功能均保持不变。

  • 为接收器连接器和源连接器添加了错误处理属性，这些属性可以覆盖 Kafka Connect 框架的错误处理行为

  • 添加了mongo-kafka-connect-<version>-confluent.jar ，其中包含连接器以及在 Confluence 平台上运行该连接器所需的所有依赖项

接收器连接器

来源连接器

  • 没有新的更改、添加或改进

缺陷修复

  • 更正了LazyBsonDocument#clone的行为，以响应展开后所做的任何更改

  • 修复了 Source Connector 中的时间戳整数溢出问题

  • 进行了更新，以在调用 Source Connector 中的getMore()方法时启用恢复

  • 进行了更新，以便能够从由于源连接器中大于16 MB 的事件大小而导致的损坏的变更流中恢复

1中的新增功能。 5

  • 将 MongoDB Java 驱动程序依赖项更新到版本4 。 2

接收器连接器

  • 添加了DeleteOneBusinessKeyStrategy写入策略以从主题中删除记录

  • 添加了对处理在处理时导致问题的错误记录的支持

  • 添加了对 Qlik Replicate Change Data capture (CDC) 的支持，以处理事件流

来源连接器

  • 将BsonDocument替换为RawBsonDocument

  • 改进了copy.existing命名空间处理

  • 改进了无效管道操作符的错误消息

  • 通过将心跳设为逻辑删除消息来提高心跳效率

缺陷修复

  • 更正了推断模式命名约定

  • 进行更新以确保模式可以向后兼容

  • 修复 Sink 验证问题 topics.regex

  • 修复了与 Confluent Connect 6一起使用时的 Sink NPE 问题。 1 。 0

  • 已更新以确保变更流游标关闭，因此它仅报告存在的错误

  • 进行了更改，以仅在明确添加投影的_id字段时才包含或排除该字段

1中的新增功能。 4

  • 将 MongoDB Java 驱动程序更新至版本4 。 1

接收器连接器

  • 添加了对基于 MongoDB 变更流事件的变更数据捕获 (CDC) 的支持

  • 添加了NamespaceMapper接口以支持动态命名空间映射

来源连接器

  • 添加了TopicMapper接口以支持主题映射

缺陷修复

  • 将顶级推断模式更改为强制模式

  • 修复 Sink Connector 中的验证问题和合成配置属性

  • 更正一般异常日志记录

  • 已更新以克隆LazyBsonDocument ，而不是解包的BsonDocument

1中的新增功能。 3

  • 为最新的 Kafka Connector 和 Confluent Platform 版本添加了自动集成测试，以确保兼容性

接收器连接器

  • 添加了对包含Bson字节类型的记录的支持

  • 添加了对errors.tolerance属性的支持

  • 已将max.num.retries默认值更改为1

  • 改进业务关键错误的错误消息

  • 改进了List和 JSON 数组配置选项的错误处理

  • 更新为在密钥更新策略中对筛选器使用点表示法

来源连接器

  • 添加了对将键或值输出为Bson字节类型的支持

  • 添加了对模式和自定义 Avro 模式定义的支持

  • 添加了对死信队列和errors.tolerance属性的支持

  • 添加了以下格式化程序的配置：

    • DefaultJson

    • ExtendedJson

    • SimplifiedJson

  • 添加了copy.existing.pipeline的配置，以允许您在复制过程中使用索引

  • 添加了copy.existing.namespace.regex的配置，以允许您复制命名空间的筛选

  • 添加了offset.partition.name的配置，以允许自定义分区命名策略

  • 已更新以验证fullDocument字段是否为文档

  • 已更新以清理偏移分区映射中的连接字符串，从而改进connection.uri 、 database和collection参数的维护

  • 已更新以禁用发布没有主题名称的源记录

缺陷修复

  • 已停止 MongoDB 3 。当 Source 连接器中不存在该集合时， 6避免复制现有问题

1.2 版新增功能

接收器连接器

重要

我们弃用了以下后处理器：

  • BlacklistKeyProjector

  • BlacklistValueProjector

  • WhitelistKeyProjector

  • WhitelistValueProjector

如果您使用的是这些后处理器，请改用相应的后处理器，以实现未来的兼容性：

  • BlockListKeyProjector

  • BlockListValueProjector，

  • AllowListKeyProjector

  • AllowListValueProjector

  • 添加了以下属性的配置：

    • document.id.strategy.overwrite.existing

    • UuidStrategy 输出类型

    • document.id.strategy.partial.value.projection.type

    • document.id.strategy.partial.value.projection.list

    • document.id.strategy.partial.key.projection.type

    • document.id.strategy.partial.key.projection.list

    • UuidProvidedInKeyStrategy

    • UuidProvidedInValueStrategy

  • 添加了UpdateOneBusinessKeyTimestampStrategy后处理器

  • 通过将主题分区分配给任务，添加对并行和可扩展数据复制的内置支持

来源连接器

  • 改进了缺少恢复令牌的错误消息传递

缺陷修复

  • 删除了当源数据库不存在时MongoCopyDataManager报告的异常

  • 修复了复制 Source Connector 中现有的可恢复性错误

1中的新增功能。 1

接收器连接器

  • 添加了对topics.regex属性的支持

  • 已更新以忽略未使用的源记录键或值字段

  • 使用以下内容添加了对连接的验证： MongoSinkConnector.validate

来源连接器

  • 使用以下内容添加了对连接的验证： MongoSourceConnector.validate

缺陷修复

  • 删除了在 Source 连接器中恢复变更流的"Unrecognized field: startAfter"错误

1中的新增功能。 0

初始 GA 版本。

← MongoDB Kafka Connector
Kafka Connector 快速入门 →

在此页面上