Docs 菜单

Docs 主页 → 开发应用程序 → MongoDB Kafka Connector

复制现有属性

在此页面上

  • 概述
  • 设置

概述

重要

copy.existing* 属性已弃用

从 MongoDB Kafka Connector 版本 1.9 开始， copy.existing*属性已弃用，可能会在未来版本中删除。 您应使用startup.mode*属性来配置复制现有功能。 要了解startup.mode*设置，请参阅初创企业属性。

使用以下配置设置启用复制现有功能，从而将 MongoDB collection 转换为 change stream 事件。

提示

另请参阅：

有关复制现有功能的示例，请参阅复制现有数据使用示例。

有关按类别排列的 Source 连接器配置设置列表，请参阅 Source 连接器配置属性指南。

设置

名称
说明
copy.existing
类型：布尔值

描述：
是否启用复制现有功能，该功能将 MongoDB collection 中的所有数据转换为 change stream 事件并将其发布到 Kafka 主题上。如果 MongoDB 在连接器启动复制进程后更改了源集合数据，则连接器将在完成复制进程后为这些更改创建事件。

注意

数据复制可以生成重复事件

如果任何系统在 Source 连接器从数据库转换现有数据时更改数据库中的数据，MongoDB 可能会生成重复的变更流事件以反映最新更改。由于数据复制所依赖的变更流事件是幂等的，因此复制的数据最终是一致的。

默认值：false
接受值：true 或 false
copy.existing.namespace.regex
类型：字符串

描述：
连接器用于匹配要从中复制数据的命名空间的正则表达式。命名空间描述由句点分隔的 MongoDB 数据库名称和集合（例如，databaseName.collectionName）。

例子

在下例中，正则表达式设置与 stats 数据库中以“page”开头的集合相匹配。

copy.existing.namespace.regex=stats\.page.*

上述示例中的 "" 字符对 "." 进行转义。正则表达式中紧随其后的字符。有关如何构建正则表达式的更多信息，请参阅有关 模式的 Java API 文档。

默认：""。
接受的值：有效的正则表达式
copy.existing.pipeline
类型：字符串

描述：
连接器在复制现有数据时运行的一系列管道操作。您可以使用此设置来筛选源集合，并改进复制过程中索引的使用。

例子

以下示例展示如何使用$match聚合操作符指示连接器仅复制包含值为false的closed字段的文档。

copy.existing.pipeline=[ { "$match": { "closed": "false" } } ]
默认：[]。
接受的值：有效的聚合管道阶段
copy.existing.max.threads
类型：int

描述：
连接器复制数据时可以使用的最大线程数。
默认值：环境中可用的处理器数量
接受值：整数
copy.existing.queue.size
类型：int

描述：
连接器复制数据时可以使用的队列大小。
默认：16000。
接受值：整数
copy.existing.allow.disk.use
类型：布尔值

描述：
设置为 true 时，连接器使用临时磁盘存储来复制现有聚合。
默认：true。
MongoDB Kafka Connector →

在此页面上