对于 AI 代理:可在 https://www.mongodb.com/zh-cn/docs/llms.txt 获取文档索引—通过在任何 URL 路径后添加 .md 可获取所有页面的 Markdown 版本。
Make the MongoDB docs better! We value your opinion. Share your feedback for a chance to win $100.
MongoDB Branding Shape
Click here >
Docs 菜单

启动属性

使用以下配置设置来配置 MongoDB Kafka Source 连接器的启动,以将 MongoDB 集合转换为变更流事件。

提示

有关使用复制现有功能的示例,请参阅复制现有数据用法示例。

有关按类别排列的 Source 连接器配置设置列表,请参阅 Source 连接器配置属性指南。

名称
说明

startup.mode

类型:字符串


描述:指定当没有可用的源偏移时,Connector应如何启动。恢复变更流需要恢复令牌,Connector将从源偏移获取该令牌。如果没有可用的源偏移,则Connector可能会忽略全部或部分现有源数据,或者可能会先复制所有现有源数据,然后继续处理新数据。如果为

startup.mode=latest

startup.mode=timestampstartup.mode.timestamp.*,则Connector将忽略所有现有源数据。如果为timestamp latest

startup.mode=copy_existing,Connector将激活 属性。如果未配置任何属性,则 相当于 。如果为 ,Connector会将所有现有源数据复制到变更流事件。此设置相当于已弃用的设置copy.existing=true

如果任何系统在源Connector从数据库转换现有数据时更改数据库中的数据, MongoDB可能会生成重复的变更流事件以反映最新更改。由于数据复制所依赖的变更流事件是幂等的,因此复制的数据最终是一致的,符合“至少一次”交付保证。

默认值:latest
接受值:latesttimestampcopy_existing

startup.mode.timestamp.start.at.operation.time

类型:字符串

描述:仅在
startup.mode=timestamp

时才启动。指定变更流的点。要学习;了解有关变更流参数的更多信息,请参阅MongoDB手册中的 $changeStream(聚合)。默认值:

""
接受的值:

  • 自纪元以来的整数秒数(十进制格式)(例如,30

  • ISO-8601 格式的瞬间,精度为一秒(例如,1970-01-01T00:00:30Z

  • 规范扩展 JSON (v2) 格式的 BSON 时间戳(例如 {"$timestamp": {"t": 30, "i": 0}}

startup.mode.copy.existing.namespace.regex

类型:字符串


描述:Connector用于匹配要从中复制数据的命名空间的正则表达式。命名空间描述由句点分隔的MongoDB 数据库名称和集合(示例 )。示例,以下正则表达式设置匹配databaseName.collectionName

stats数据库中以“page”开头的集合:

startup.mode.copy.existing.namespace.regex=stats\.page.*

\上述示例中的 字符对正则表达式中其后的. 字符进行转义。有关如何构建正则表达式的更多信息,请参阅Java API文档中的模式。默认值:

""
接受的值:有效的正则表达式

startup.mode.copy.existing.pipeline

类型:字符串


描述:Connector在复制现有数据时运行的管道操作的内联大量。您可以使用此设置来过滤源集合,并改进复制进程中索引的使用。示例,以下设置使用

$match聚合操作符符指示Connector仅复制包含值为 closedfalse 字段的文档。

startup.mode.copy.existing.pipeline=[ { "$match": { "closed": "false" } } ]

""
默认值: 接受值:有效聚合管道阶段

startup.mode.copy.existing.max.threads

类型:int

描述:Connector可用于复制数据的最大线程数。默认值:环境中可用的处理器数量



接受的值:整数

startup.mode.copy.existing.queue.size

类型:int


描述:Connector在复制数据时可以使用的队列大小。默认值:

16000
接受值:整数

startup.mode.copy.existing.allow.disk.use

类型:布尔值 描述:设立为


true时,Connector使用临时磁盘存储来复制现有聚合。默认值:

true
接受值:truefalse

在此页面上