Overview
在此页面上,您可以查看 MongoDB Kafka connector 的所有可用属性。此页面重复其他接收器连接器配置属性页面的内容。
要查看所有connector配置属性页面的列表,请参阅connector配置属性页面。
MongoDB 连接
使用以下配置设置指定MongoDB Kafka Sink connector如何与MongoDB cluster连接并通信。
要仅查看与配置 MongoDB 连接相关的选项,请参阅MongoDB 连接配置属性页面。
名称 | 说明 |
|---|---|
connection.uri | 必需 重要提示:为避免在 默认: |
server.api.version | 类型:string |
server.api.deprecationErrors | 类型:布尔值 |
server.api.strict | 类型:布尔值 |
csfle.enabled | 类型:布尔值 |
csfle.key.vault。命名空间 | 类型:string |
csfle.local.master.key | 类型:string |
csfle.schema.map | 类型:string |
csfle.bypass。 查询 | 类型:布尔值 |
MongoDB 命名空间
使用以下配置设置指定 MongoDB Kafka connector 将数据写入哪个 MongoDB database 和 collection。您可以使用默认的DefaultNamespaceMapper或指定自定义类。
要仅查看与指定connector写入数据的位置相关的选项,请参阅MongoDB 命名空间映射配置属性页面。
名称 | 说明 | |
|---|---|---|
namespace.mapper | 类型:string 接受值:实现 | |
database | 必需 | |
集合 | 类型:string 默认:主题名称。 接受值:MongoDB collection名称 |
FieldPathNamespaceMapper 设置
如果将接收器连接器配置为使用FieldPathNamespaceMapper ,则可以根据数据的字段值指定用于接收文档的数据库和集合。
要启用此映射行为,请将接收器connectornamespace.mapper配置属性设置为完全限定的类名称,如下所示:
namespace.mapper=com.mongodb.kafka.connect.sink.namespace.mapping.FieldPathNamespaceMapper
FieldPathNamespaceMapper要求您指定以下设置:
将属性映射到数据库和集合的一个或两个
到数据库的
key或value映射之一到collection的
key或value映射之一
您可以使用以下设置自定义FieldPathNamespaceMapper的行为:
名称 | 说明 |
|---|---|
namespace.mapper.key.database.field | 类型:string |
namespace.mapper.key.collection.field | 类型:string |
namespace.mapper.value.database.field | 类型:string |
namespace.mapper.value.collection.field | 类型:string |
namespace.mapper.error.if.invalid | 类型:布尔值 |
Connector 主题
使用以下配置设置指定 MongoDB Kafka 接收器连接器应监视哪些 Kafka 主题的数据。
要仅查看与指定 Kafka 主题相关的选项,请参阅 Sink Connector 的 Kafka 主题属性 页面。
名称 | 说明 | |
|---|---|---|
话题 | 必需 您可以定义 接受值:以逗号分隔的有效 Kafka 主题列表 | |
topic.regex | 必需 示例,以下正则表达式匹配主题名称,例如“action.landing.clicks” 和“活动.支持.点击”。 它与主题名称“action.landing.views”不匹配 和“Activity.Clicks”。 您可以定义 接受值:使用 |
Connector 消息处理
使用此页面上的设置可配置 MongoDB Kafka connector 的消息处理行为,包括:
消息批量大小
速率限制
并行任务数
要仅查看与变更数据捕获处理程序相关的选项,请参阅connector消息处理Properties页面。
名称 | 说明 | ||
|---|---|---|---|
max.batch.size | 类型: int 当设置为 默认值: | ||
bulk.write.ordered | 类型:布尔值 | ||
rate.limiting.every.n | 类型: int | ||
rate.limiting.timeout | 类型:int | ||
tasks.max | 类型:int |
连接器错误处理
使用以下配置设置指定 MongoDB Kafka connector 如何处理错误并配置死信队列(DLQ)。
要仅查看与处理错误相关的选项,请参阅connector错误处理属性页面。
名称 | 说明 |
|---|---|
mongo.errors.tolerance | |
mongo.errors.log.enable | |
errors.log.include.messages | 类型:布尔值 |
errors.deadletterqueue.topic.name | 类型: string |
errors.deadletterqueue.context.headers.enable | 类型:布尔值 |
errors.deadletterqueue.topic.replication.factor | 类型:整数 |
后处理器
使用以下配置设置指定 MongoDB Kafka connector 在将 Kafka 数据插入 MongoDB 之前应如何转换该数据。
要仅查看与帖子处理器相关的选项,请参阅Sink connector 帖子处理器属性页面。
名称 | 说明 | |
|---|---|---|
post.processor.chain | 类型:list 接受的值:以逗号分隔的完全限定 Java 类名称列表 | |
field.renamer.mapping | 类型:string 默认: | |
field.renamer.regexp | 类型:string 默认: | |
field.value.transformer | 类型:string | |
字段.value.transformer.字段s | 类型: string | |
key.projection.list | 类型:string | |
key.projection.type | 类型:string | |
value.projection.list | 类型:string | |
value.projection.type | 类型:string | |
writemodel.strategy |
Id 策略
使用以下配置设置,指定 MongoDB Kafka Sink 连接器应如何确定写入 MongoDB 的每个文档的 _id 值。
要仅查看与确定文档_id字段相关的选项,请参阅“connector ID 策略属性”页面。
名称 | 说明 | |
|---|---|---|
document.id.strategy | 类型: string 接受的值:空字符串或完全限定的 Java 类名 | |
document.id.strategy.overwrite.existing | 类型:布尔值 | |
document.id.strategy.uuid.format | 类型:字符串 描述:Connector应以字符串格式还是 | |
delete.on.null.values | 类型:布尔值 |
写入模型策略
您可以设置配置属性来指定MongoDB Kafka Sink connector如何将数据写入MongoDB 。 以下部分介绍了可以设置的配置属性,可自定义此行为。
WriteModel
将 writemodel.strategy 配置属性设置为 ,以指定接收器connector在接收接收器记录时如何写入数据。
您可以将writemodel.strategy的值设置为本页“策略”部分中描述的写入模型策略的任何完全限定类名称。 您可以通过设置以下配置来指定策略:
writemodel.strategy=<a write model strategy>
删除写入模型
将 delete.writemodel.strategy 配置属性设置为 ,以指定 Sink connector在收到 tombstone 事件时如何写入数据。 逻辑删除事件是指包含键但不包含值的记录,这表示记录已删除。
您可以将delete.writemodel.strategy的值设置为本页“策略”部分中描述的写入模型策略的任何完全限定类名称。 您可以通过设置以下配置来指定策略:
delete.writemodel.strategy=<a write model strategy>
要仅查看与写入模型策略相关的选项,请参阅接收器连接器写入模型策略页面。
名称 | 说明 | |
|---|---|---|
DefaultWriteModelStrategy | 描述: | |
InsertOneDefaultStrategy | 描述: | |
ReplaceOneDefaultStrategy | 描述: | |
替换一个业务键策略 | 描述: 要查看如何使用此策略的示例,请参阅我们的 写模型策略 指南。 | |
DeleteOneDefaultStrategy | 描述: | |
删除一个业务键策略 | 描述: 要查看如何使用此策略的示例,请参阅我们的 写模型策略 指南。 | |
删除单个墓碑业务键策略 | 描述: | |
UpdateOneDefaultStrategy | 描述: | |
更新一个时间戳策略 | 描述: 要查看如何使用此策略的示例,请参阅我们的 写模型策略 指南。 | |
UpdateOneBusinessKeyTimestampStrategy | 描述: |
主题覆盖
使用以下 MongoDB Kafka 接收器连接器配置设置来覆盖特定主题的全局或默认属性设置。
要仅查看与覆盖主题设置相关的选项,请参阅主题覆盖属性页面。
名称 | 说明 |
|---|---|
topic.override.<topicName>.<propertyName> | 类型:string |
变更数据捕获
使用以下配置设置指定MongoDB Kafka接收器connector用于处理变更数据捕获 (CDC) 事件的类。
有关使用内置ChangeStreamHandler和Debezium及Qlik Replicate事件生成器的处理程序的示例,请参阅变更数据捕获处理程序指南。
要仅查看与变更数据捕获处理程序相关的选项,请参阅变更数据捕获属性页面。
名称 | 说明 |
|---|---|
change.data.capture.handler | 类型:string |
时间序列
使用以下配置设置指定 MongoDB Kafka 接收器连接器应如何将数据接收到 MongoDB 时间序列集合。
要仅查看与time-series collection相关的选项,请参阅Kafka time-series 属性页面。
名称 | 说明 | |
|---|---|---|
timeseries.timefield | 类型:string | |
timeseries.timefield.auto.convert.date.format | 类型:字符串 接受的值:有效的 | |
timeseries.timefield.auto.convert | 类型:布尔值 如果连接器无法转换该值,它会将原始值发送到时间序列集合。 | |
timeseries.timefield.auto.convert.locale. language.tag | ||
timeseries.metafield | 类型: string | |
timeseries.expire.after.seconds | 类型:int | |
timeseries.granularity | 类型:string |
有关如何将现有集合转换为时间序列集合的示例,请参阅如何将现有集合迁移到时间序列集合的教程。