Todas las propiedades de configuración del Connector fuente

connection.uri

Requerido

Tipo: cadena

Descripción:
La cadena de conexión URI para conectarse a su instancia o clúster de MongoDB.

Para obtener más información, consulte Conectarse a MongoDB.

IMPORTANTE: Para evitar exponer tus credenciales de autenticación en tu configuración de connection.uri, utiliza un ConfigProvider y establece los parámetros de configuración adecuados.

Default: mongodb://localhost:27017,localhost:27018,localhost:27019
Accepted Values: A MongoDB URI connection string

database

Tipo: cadena

Descripción:
Nombre de la base de datos que se monitorizará para detectar cambios. Si no se especifica, el conector monitorizará todas las bases de datos. Valor

predeterminado: ""
Valores aceptados: Un único nombre de base de datos

Colección

Tipo: cadena

Descripción:
Nombre de la colección en la base de datos que se monitorizará para detectar cambios. Si no se especifica, el conector monitorizará todas las colecciones para detectar cambios.

IMPORTANTE: Si su database configuración está establecida "" en, el conector ignorará la collection configuración.

Predeterminado: ""
Valores aceptados: Un único nombre de colección

servidor.api.version

Tipo: cadena

Descripción:
La versión de la API estable que desea utilizar con su clúster de MongoDB. Para obtener más información sobre la API estable y las versiones del servidor MongoDB que la admiten, consulte la guía de la API estable.

Valor predeterminado: Valores""
aceptados: Una cadena vacía o una versión válida de la API estable.

servidor.api.deprecationErrors

Type: boolean

Description:
When set to true, if the connector calls a command on your MongoDB instance that's deprecated in the declared Stable API version, it raises an exception.

You can set the API version with the server.api.version configuration option. For more information on the Stable API, see the MongoDB manual entry on the Stable API.

Default: false
Accepted Values: true or false

servidor.api.strict

Tipo: booleano

Descripción:
Cuando true se establece en, si el conector llama a un comando en su instancia de MongoDB que no está cubierto por la versión de API estable declarada, se generará una excepción.

Puede establecer la versión de la API con la server.api.version opción de configuración. Para obtener más información sobre la API estable, consulte la entrada del manual de MongoDB sobre la API estable.

false
Valor predeterminado: Valores aceptados: true o false

Preámbulo del tema

Type: string

Description:
Specifies the first part of the destination Kafka topic name to which the connector publishes change stream events. The destination topic name is composed of the topic.prefix value followed by the database and collection names, separated by the value specified in the topic.separator property.

To learn more, see the example in Topic Naming Prefix.

Default: ""
Accepted Values: A string composed of ASCII alphanumeric characters including ".", "-", and "_"

tema.suffix

Type: string

Description:
Specifies the last part of the destination Kafka topic name to which the connector publishes change stream events. The destination topic name is composed of the database and collection names followed by the topic.suffix value, separated by the value specified in the topic.separator property.

To learn more, see the example in Topic Naming Suffix.

Default: ""
Accepted Values: A string composed of ASCII alphanumeric characters including ".", "-", and "_"

tema.namespace.map

Type: string

Description:
Specifies a JSON mapping between change stream document namespaces and topic names.

You can use to topic.namespace.map property to specify complex mappings. This property supports regex and wildcard matching.

To learn more about these behaviors and view examples, see Topic Namespace Map.

Default: ""
Accepted Values: A valid JSON object

separador de tema

Tipo: cadena

Descripción:
Especifica la cadena que el conector utiliza para concatenar los valores que se usan para crear el nombre del tema. El conector publica registros en un tema con un nombre formado al concatenar los valores de los siguientes campos en el siguiente orden:

1. topic.prefix

2. database

3. collection

4. topic.suffix

Por ejemplo, la siguiente configuración indica al conector que publique documentos de flujo de cambios de la colección coll de la base de datos db en el tema prefix-db-coll:

topic.prefix=prefix
database=db
collection=coll
topic.separator=-

IMPORTANTE: Cuando utilice la topic.separator propiedad, tenga en cuenta que no afecta a la definición de la propiedad. La propiedad topic.namespace.map utiliza espacios de topic.namespace.map nombres de MongoDB que siempre debe especificar con un . carácter para separar el nombre de la base de datos y la colección.

"."
Valor predeterminado: Valores aceptados: Una cadena

tema.mapper

Tipo: cadena

Descripción:
La clase Java que define su lógica de asignación de temas personalizada.

Predeterminado: com.mongodb.kafka.connect.source.topic.mapping.DefaultTopicMapper
Valores aceptados: Nombre de clase completo válido de una implementación de la clase TopicMapper.

pipeline

Tipo: cadena

Descripción:
Una matriz de canalizaciones de agregación para ejecutar en su flujo de cambios. Debe configurar este ajuste para el documento de evento del flujo de cambios, no para el fullDocument campo.

Por ejemplo:

[{"$match": { "$and": [{"operationType": "insert"}, {"fullDocument.eventId": 1404 }] } }]

Para ver más ejemplos, consulte:

• Personaliza una pipeline para filtrar eventos de cambio

• Escuchar cambios en múltiples orígenes

Default: "[]"
Accepted Values: Valid aggregation pipeline stage

flujo de cambios.full.documento

Tipo: cadena

Descripción:
Determina

los valores que devuelve el flujo de cambios en las operaciones de actualización. La configuración predeterminada devuelve las diferencias entre el documento original y el documento actualizado.

La updateLookup configuración devuelve las diferencias entre el documento original y el documento actualizado, así como una copia del documento actualizado completo en un momento posterior a la actualización.

La whenAvailable configuración devuelve el documento actualizado, si está disponible.

La required configuración devuelve el documento actualizado y genera un error si no está disponible.

Para obtener más información sobre cómo funciona esta opción de flujo de cambios, consulte "Buscar documento completo para operaciones de actualización" en el manual de MongoDB.

Predeterminado: ""
Valores ""aceptados:,, "updateLookup" "whenAvailable"o "required"

flujo.de.cambios.full.documento.before.change

Tipo: cadena

Descripción:
Configura la preimagen del documento que devuelve el flujo de cambios en las operaciones de actualización. La preimagen no está disponible para los registros de origen publicados al copiar datos existentes, y la configuración de la preimagen no afecta a la copia.

Para obtener información sobre cómo configurar una colección para habilitar las preimágenes, consulte Flujos de cambios con preimágenes y posimágenes de documentos en el manual de MongoDB.

La configuración predeterminada suprime la preimagen del documento.

La configuración devuelve whenAvailable la preimagen del documento si está disponible, antes de que se haya reemplazado, actualizado o eliminado.

La required configuración devuelve la preimagen del documento y genera un error si no está disponible.

Predeterminado: ""
Valores aceptados: "" o "whenAvailable" o "required"

publish.full.document.only

Tipo: booleano

Descripción:
Indica si se debe devolver solo el fullDocument campo del documento de evento de flujo de cambios producido por cualquier evento de actualización. El fullDocument campo contiene la versión más reciente del documento actualizado. Para obtener más información sobre el fullDocument campo, consulte el evento de actualización en el manual del servidor.

Cuando se establece true en, el conector anula la configuración change.stream.full.document y la establece en updateLookup para que el fullDocument campo contenga los documentos actualizados.

false
Valor predeterminado: Valores aceptados: true o false

Solo document completo (tumba) al borrar

Type: boolean

Description:
Whether to return tombstone events when documents are deleted. Tombstone events contain the keys of deleted documents with null values. This setting applies only when publish.full.document.only is true.

Default: false
Accepted Values: true or false

flujo de cambios.documento.key.as.key

Tipo: booleano

Descripción:
Indica si se debe usar la clave del documento como clave del registro de origen si la clave del documento está presente.

Si se establece true en, el conector agrega las claves de los documentos eliminados a los eventos de eliminación. Si se establece false en, el conector usa el token de reanudación como clave de origen para los eventos de eliminación.

true
Valor predeterminado: Valores aceptados: true o false

intercalación

Tipo: cadena

Descripción:
Un documento de intercalación JSON que especifica las reglas de ordenación específicas del idioma que MongoDB aplica a los documentos devueltos por el flujo de cambios.

""
Valor predeterminado: Valores aceptados: Un documento JSON de intercalación válido

batch.size

Tipo: int

Descripción:
Tamaño del lote del cursor de flujo de cambios.

0
Valor predeterminado: Valores aceptados: Un número entero

poll.await.time.ms

Tipo: long

Descripción:
El tiempo máximo en milisegundos que el servidor espera a que se informen nuevos cambios de datos al cursor del flujo de cambios antes de devolver un lote vacío.

5000
Valor predeterminado: Valores aceptados: Un número entero

poll.max.batch.size

Tipo: int

Descripción:
Número máximo de documentos a leer en un solo lote al consultar un cursor de flujo de cambios para obtener nuevos datos. Puede usar esta configuración para limitar la cantidad de datos almacenados internamente en el conector.

Valor predeterminado: 1000
Valores aceptados: Un número entero

output.formato.key

Type: string

Description:
Specifies which data format the source connector outputs the key document.

Default: json
Accepted Values: bson, json, schema

output.format.value

Tipo: cadena

Descripción:
Especifica el formato de datos en el que el conector de origen genera el documento de valor.

El conector admite Protobuf como formato de datos de salida. Puede habilitar este formato especificando el schema valor e instalando y configurando el convertidor Protobuf de Kafka Connect.

json
Valor predeterminado: Valores aceptados:,, bsonjsonschema

output.json.formatter

Tipo: cadena

Descripción:
Nombre de la clase del formateador JSON que el conector debe usar para generar datos.

Predeterminado:

com.mongodb.kafka.connect.source.json.formatter.DefaultJson

Valores aceptados:
El nombre completo de la clase de su formateador JSON personalizado o uno de los siguientes nombres de clases de formateadores integrados:

com.mongodb.kafka.connect.source.json.formatter.DefaultJson
com.mongodb.kafka.connect.source.json.formatter.ExtendedJson
com.mongodb.kafka.connect.source.json.formatter.SimplifiedJson

Para aprender más sobre estos formatos de salida, consulta Formateadores JSON.

output.esquema.key

Tipo: cadena

Descripción:
Especifica una definición de esquema Avro para el documento clave del SourceRecord.

Para obtener más información sobre el esquema Avro, consulte Avro en la guía de formatos de datos.

Predeterminado:

{
  "type": "record",
  "name": "keySchema",
  "fields" : [ { "name": "_id", "type": "string" } ]"
}

Valores aceptados: Un esquema Avro válido

output.esquema.value

Tipo: cadena

Descripción:
Especifica una definición de esquema

Avro para el documento de valor del SourceRecord. Para obtener más información sobre el esquema Avro, consulte Avro en la guía de formatos de datos.

Predeterminado:

{
  "name": "ChangeStream",
  "type": "record",
  "fields": [
    { "name": "_id", "type": "string" },
    { "name": "operationType", "type": ["string", "null"] },
    { "name": "fullDocument", "type": ["string", "null"] },
    { "name": "ns",
      "type": [{"name": "ns", "type": "record", "fields": [
                {"name": "db", "type": "string"},
                {"name": "coll", "type": ["string", "null"] } ]
               }, "null" ] },
    { "name": "to",
      "type": [{"name": "to", "type": "record",  "fields": [
                {"name": "db", "type": "string"},
                {"name": "coll", "type": ["string", "null"] } ]
               }, "null" ] },
    { "name": "documentKey", "type": ["string", "null"] },
    { "name": "updateDescription",
      "type": [{"name": "updateDescription",  "type": "record", "fields": [
                 {"name": "updatedFields", "type": ["string", "null"]},
                 {"name": "removedFields",
                  "type": [{"type": "array", "items": "string"}, "null"]
                  }] }, "null"] },
    { "name": "clusterTime", "type": ["string", "null"] },
    { "name": "txnNumber", "type": ["long", "null"]},
    { "name": "lsid", "type": [{"name": "lsid", "type": "record",
               "fields": [ {"name": "id", "type": "string"},
                             {"name": "uid", "type": "string"}] }, "null"] }
  ]
}

Valores aceptados: un JSON schema válido

esquema.infer.valor

Tipo: booleano

Descripción:
Indica si el conector debe inferir el esquema para el documento de valor del SourceRecord. Dado que el conector procesa cada documento de forma aislada, puede generar varios esquemas.

IMPORTANTE: El conector solo lee esta configuración cuando se establece el output.format.value valor schema en.

false
Valor predeterminado: Valores aceptados: true o false

empresa emergente.moda

Tipo: cadena

Descripción:
Especifica cómo debe iniciarse el conector cuando no hay un desplazamiento de origen disponible. Reanudar un flujo de cambios requiere un token de reanudación, que el conector obtiene del desplazamiento de origen. Si no hay un desplazamiento de origen disponible, el conector puede ignorar todos o algunos de los datos de origen existentes, o puede copiar primero todos los datos de origen existentes y luego continuar con el procesamiento de nuevos datos.

startup.mode=latestSi, el conector ignora todos los datos de origen existentes.

startup.mode=timestampSi, el conector activa las startup.mode.timestamp.* propiedades. Si no se configuran propiedades, timestamp es equivalente latest a.

startup.mode=copy_existingSi, el conector copia todos los datos de origen existentes a eventos de flujo de cambios. Esta configuración es equivalente a la configuración copy.existing=true obsoleta.

Si algún sistema cambia los datos en la base de datos mientras el conector de origen convierte los datos existentes de ella, MongoDB puede producir eventos de flujo de cambios duplicados para reflejar los últimos cambios. Dado que los eventos de flujo de cambios de los cuales depende la copia de datos son idempotentes, los datos copiados son eventualmente coherentes.

Default:latest
Accepted Values: latest, timestamp, copy_existing

startup.mode.timestamp.start.at.operación.time

Tipo: cadena

Descripción:
Se activa solo startup.mode=timestamp si. Especifica el punto de inicio para el flujo de cambios.

Para obtener más información sobre los parámetros del flujo de cambios, consulte $changeStream (agregación) en el manual de MongoDB.

""
Valor predeterminado: Valores aceptados:

• Un número entero de segundos transcurridos desde la Unix epoch en formato decimal (por ejemplo, 30)

• Un instante en el formato ISO-8601 con una precisión de un segundo (por ejemplo, 1970-01-01T00:00:30Z)

• Una marca de tiempo BSON en el formato JSON extendido canónico (v2) (por ejemplo, {"$timestamp": {"t": 30, "i": 0}})

Regex de Modo de startup.copy.existing.namespace.regex

Tipo: cadena

Descripción:
Expresión regular que el conector utiliza para hacer coincidir los espacios de nombres desde los que copiar datos. Un espacio de nombres describe el nombre de la base de datos MongoDB y la colección separados por un punto (por ejemplo,). databaseName.collectionName

Por ejemplo, la siguiente configuración de expresión regular coincide con las colecciones que comienzan con "page" en la stats base de datos:

startup.mode.copy.existing.namespace.regex=stats\.page.*

The \ character in the example above escapes the . character that follows it in the regular expression. For more information on how to build regular expressions, see Patterns in the Java API documentation.

Default: ""
Accepted Values: A valid regular expression

startup.mode.copy.existing.pipeline

Tipo: cadena

Descripción:
Una matriz en línea de operaciones de canalización que el conector ejecuta al copiar datos existentes. Puede usar esta configuración para filtrar la colección de origen y mejorar el uso de índices en el proceso de copia.

Por ejemplo, la siguiente configuración usa el operador de agregación $match para indicar al conector que copie solo los documentos que contienen un closed campo con un valor false de.

startup.mode.copy.existing.pipeline=[ { "$match": { "closed": "false" } } ]

Por defecto: ""
Valores aceptados: etapas válidas del pipeline de agregación

startup.mode.copy.existing.max.threads

Tipo: int

Descripción:
El número máximo de subprocesos que el conector puede usar para copiar datos.

Predeterminado: número de procesadores disponibles en el entorno
Valores aceptados: Un número entero

startup.mode.copy.existing.queue.size

Tipo: int

Descripción:
El tamaño de la cola que el conector puede usar al copiar datos.

16000
Valor predeterminado: Valores aceptados: Un número entero

Permitir el uso de disco para copiar datos existentes

Tipo: booleano

Descripción:
Cuando se establece en true, el conector utiliza almacenamiento temporal en disco para copiar la agregación existente.

Por defecto: true
Valores aceptados: true o false

mongo.errors.tolerance

Type: string

Description:
Whether to continue processing messages when the connector encounters an error.

Set this to "none" if you want the connector to stop processing messages and report the issue if it encounters an error.

Set this to "all" if you want the connector to continue processing messages and ignore any errors it encounters.

IMPORTANT: This property overrides the errors.tolerance Connect Framework property.

Default: "none"
Accepted Values: "none" or "all"

mongo.errors.log.enable

Type: boolean

Description:
Whether the connector should report errors in the log file.

Set this to true to log all errors the connector encounters.

Set this to false to log errors that are not tolerated by the connector. You can specify which errors the connector should tolerate using the errors.tolerance or mongo.errors.tolerance setting.

IMPORTANT: This property overrides the errors.log.enable Connect Framework property.

Default: false
Accepted Values: true or false

mongo.errors.deadletterqueue.tema.name

Type: string

Description:
The name of topic to use as the dead letter queue.

If you specify a value, the connector writes invalid messages to the dead letter queue topic as extended JSON strings.

If you leave this setting blank, the connector does not write invalid messages to any topic.

IMPORTANT: You must set errors.tolerance or mongo.errors.tolerance setting to "all" to enable this property.

Default: ""
Accepted Values: A valid Kafka topic name

offset.partition.name

Type: string

Description:
The custom offset partition name to use. You can use this option to instruct the connector to start a new change stream when an existing offset contains an invalid resume token.

If you leave this setting blank, the connector uses the default partition name based on the connection details.

To view a strategy for naming offset partitions, see Reset Stored Offsets.

Default: ""
Accepted Values: A string. To learn more about naming a partition, see SourceRecord in the Apache Kafka API documentation.

heartbeat.interval.ms

Type: long

Description:
The number of milliseconds the connector waits between sending heartbeat messages. The connector sends heartbeat messages when source records are not published in the specified interval. This mechanism improves resumability of the connector for low volume namespaces.

Heartbeat messages contain a postBatchResumeToken data field. The value of this field contains the MongoDB server oplog entry that the connector last read from the change stream.

Set this to 0 to disable heartbeat messages.

To learn more, see Prevention in the Invalid Resume Token page.

Default: 0
Accepted Values: An integer

heartbeat.tema.name

Type: string

Description:
The name of the topic on which the connector should publish heartbeat messages. You must provide a positive value in the heartbeat.interval.ms setting to enable this feature.

Default: __mongodb_heartbeats
Accepted Values: A valid Kafka topic name