Todas las propiedades de configuración del Connector fuente

connection.uri

Requerido

Tipo: cadena

Descripción:
La cadena de conexión URI para conectarse a su instancia o clúster de MongoDB.

Para obtener más información, consulte Conectarse a MongoDB.

IMPORTANTE: Para evitar exponer tus credenciales de autenticación en tu configuración de connection.uri, utiliza un ConfigProvider y establece los parámetros de configuración adecuados.

Valorpredeterminado: Valoresmongodb://localhost:27017,localhost:27018,localhost:27019
aceptados: Una cadena de conexión URI de MongoDB

database

Tipo: cadena

Descripción:
Nombre de la base de datos que se monitorizará para detectar cambios. Si no se especifica, el conector monitorizará todas las bases de datos. Valor

predeterminado: ""
Valores aceptados: Un único nombre de base de datos

Colección

Tipo: cadena

Descripción:
Nombre de la colección en la base de datos que se monitorizará para detectar cambios. Si no se especifica, el conector monitorizará todas las colecciones para detectar cambios.

IMPORTANTE: Si su database configuración está establecida "" en, el conector ignorará la collection configuración.

Predeterminado: ""
Valores aceptados: Un único nombre de colección

servidor.api.version

Tipo: cadena

Descripción:
La versión de la API estable que desea utilizar con su clúster de MongoDB. Para obtener más información sobre la API estable y las versiones del servidor MongoDB que la admiten, consulte la guía de la API estable.

Valor predeterminado: Valores""
aceptados: Una cadena vacía o una versión válida de la API estable.

servidor.api.deprecationErrors

Tipo: booleano

Descripción:
Cuando true se establece en, si el conector llama a un comando en su instancia de MongoDB que está obsoleto en la versión declarada de la API estable, se generará una excepción.

Puede establecer la versión de la API con la server.api.version opción de configuración. Para obtener más información sobre la API estable, consulte la entrada correspondiente en el manual de MongoDB.

false
Valor predeterminado: Valores aceptados: true o false

servidor.api.strict

Tipo: booleano

Descripción:
Cuando true se establece en, si el conector llama a un comando en su instancia de MongoDB que no está cubierto por la versión de API estable declarada, se generará una excepción.

Puede establecer la versión de la API con la server.api.version opción de configuración. Para obtener más información sobre la API estable, consulte la entrada del manual de MongoDB sobre la API estable.

false
Valor predeterminado: Valores aceptados: true o false

Preámbulo del tema

Tipo: cadena

Descripción:
Especifica la primera parte del nombre del tema de Kafka de destino al que el conector publica eventos de flujo de cambios. El nombre del tema de destino se compone del topic.prefix valor seguido de los nombres de la base de datos y la colección, separados por el valor especificado en la topic.separator propiedad.

Para obtener más información, consulte el ejemplo en Prefijo de nomenclatura de temas.

Valor predeterminado: ""
Valores aceptados: Una cadena compuesta por caracteres alfanuméricos ASCII, incluidos ".", "-" y "_".

tema.suffix

Tipo: cadena

Descripción:
Especifica la última parte del nombre del tema de Kafka de destino al que el conector publica eventos de flujo de cambios. El nombre del tema de destino se compone de los nombres de la base de datos y la colección, seguidos del topic.suffix valor, separados por el valor especificado en la topic.separator propiedad.

Para obtener más información, consulte el ejemplo en Sufijo de nomenclatura de temas.

Valor predeterminado: ""
Valores aceptados: Una cadena compuesta por caracteres alfanuméricos ASCII, incluidos ".", "-" y "_".

tema.namespace.map

Tipo: cadena

Descripción:
Especifica una asignación JSON entre los espacios de nombres de documentos de flujo de cambios y los nombres de temas.

Puede usar la topic.namespace.map propiedad para especificar asignaciones complejas. Esta propiedad admite coincidencias de expresiones regulares y comodines.

Para obtener más información sobre estos comportamientos y ver ejemplos, consulte Mapa de espacios de nombres de temas.

Valor predeterminado: ""
Valores aceptados: Un objeto JSON válido

separador de tema

Tipo: cadena

Descripción:
Especifica la cadena que el conector utiliza para concatenar los valores que se usan para crear el nombre del tema. El conector publica registros en un tema con un nombre formado al concatenar los valores de los siguientes campos en el siguiente orden:

1. topic.prefix

2. database

3. collection

4. topic.suffix

Por ejemplo, la siguiente configuración indica al conector que publique documentos de flujo de cambios desde la colección coll de la base de datos db al tema prefix-db-coll:

topic.prefix=prefix
database=db
collection=coll
topic.separator=-

IMPORTANTE: Cuando utilice la topic.separator propiedad, tenga en cuenta que no afecta a la definición de la propiedad. La propiedad topic.namespace.map utiliza espacios de topic.namespace.map nombres de MongoDB que siempre debe especificar con un . carácter para separar el nombre de la base de datos y la colección.

"."
Valor predeterminado: Valores aceptados: Una cadena

tema.mapper

Tipo: cadena

Descripción:
La clase Java que define su lógica de asignación de temas personalizada.

Predeterminado: com.mongodb.kafka.connect.source.topic.mapping.DefaultTopicMapper
Valores aceptados: Nombre de clase completo válido de una implementación de la clase TopicMapper.

pipeline

Tipo: cadena

Descripción:
Una matriz de canalizaciones de agregación para ejecutar en su flujo de cambios. Debe configurar este ajuste para el documento de evento del flujo de cambios, no para el fullDocument campo.

Por ejemplo:

[{"$match": { "$and": [{"operationType": "insert"}, {"fullDocument.eventId": 1404 }] } }]

Para ver más ejemplos, consulte:

• Personaliza una pipeline para filtrar eventos de cambio
• Escuchar cambios en múltiples orígenes

Predeterminado: "[]"
Valores aceptados: Etapa válida de la canalización de agregación

flujo de cambios.full.documento

Tipo: cadena

Descripción:
Determina

los valores que devuelve el flujo de cambios en las operaciones de actualización. La configuración predeterminada devuelve las diferencias entre el documento original y el documento actualizado.

La updateLookup configuración devuelve las diferencias entre el documento original y el documento actualizado, así como una copia del documento actualizado completo en un momento posterior a la actualización.

La whenAvailable configuración devuelve el documento actualizado, si está disponible.

La required configuración devuelve el documento actualizado y genera un error si no está disponible.

Para obtener más información sobre cómo funciona esta opción de flujo de cambios, consulte "Buscar documento completo para operaciones de actualización" en el manual de MongoDB.

Predeterminado: ""
Valores ""aceptados:,, "updateLookup" "whenAvailable"o "required"

cambiar.transmisión.mostrar.eventos.expandidos

Tipo: booleano

Descripción:
Determina si los flujos de cambios notifican eventos DDL como
createIndexes y

dropIndexes. Para obtener más información, consulte showExpandedEvents.

Esta configuración es necesaria para mostrar
updateDescription.disambiguatedPaths en los eventos de actualización, lo que
aclara los cambios que involucran campos ambiguos. Para obtener más información,
consulte disambiguatedPaths.

false
Valor predeterminado: Valores aceptados: true o false

flujo.de.cambios.full.documento.before.change

Tipo: cadena

Descripción:
Configura la preimagen del documento que devuelve el flujo de cambios en las operaciones de actualización. La preimagen no está disponible para los registros de origen publicados al copiar datos existentes, y la configuración de la preimagen no afecta a la copia.

Para obtener información sobre cómo configurar una colección para habilitar las preimágenes, consulte Flujos de cambios con preimágenes y posimágenes de documentos en el manual de MongoDB.

La configuración predeterminada suprime la preimagen del documento.

La configuración devuelve whenAvailable la preimagen del documento si está disponible, antes de que se haya reemplazado, actualizado o eliminado.

La required configuración devuelve la preimagen del documento y genera un error si no está disponible.

Predeterminado: ""
Valores aceptados: "" o "whenAvailable" o "required"

publish.full.document.only

Tipo: booleano

Descripción:
Indica si se debe devolver solo el fullDocument campo del documento de evento de flujo de cambios producido por cualquier evento de actualización. El fullDocument campo contiene la versión más reciente del documento actualizado. Para obtener más información sobre el fullDocument campo, consulte el evento de actualización en el manual del servidor.

Cuando se establece true en, el conector anula la configuración change.stream.full.document y ​​la establece en updateLookup para que el fullDocument campo contenga los documentos actualizados.

false
Valor predeterminado: Valores aceptados: true o false

Solo document completo (tumba) al borrar

Tipo: booleano

Descripción:
Indica si se deben devolver eventos de eliminación cuando se borran documentos. Los eventos de eliminación contienen las claves de los documentos eliminados con null valores. Esta configuración solo se aplica publish.full.document.only cuando true es.

false
Valor predeterminado: Valores aceptados: true o false

flujo de cambios.documento.key.as.key

Tipo: booleano

Descripción:
Indica si se debe usar la clave del documento como clave del registro de origen si la clave del documento está presente.

Si se establece true en, el conector agrega las claves de los documentos eliminados a los eventos de eliminación. Si se establece false en, el conector usa el token de reanudación como clave de origen para los eventos de eliminación.

true
Valor predeterminado: Valores aceptados: true o false

intercalación

Tipo: cadena

Descripción:
Un documento de intercalación JSON que especifica las reglas de ordenación específicas del idioma que MongoDB aplica a los documentos devueltos por el flujo de cambios.

""
Valor predeterminado: Valores aceptados: Un documento JSON de intercalación válido

batch.size

Tipo: int

Descripción:
Tamaño del lote del cursor de flujo de cambios.

0
Valor predeterminado: Valores aceptados: Un número entero

poll.await.time.ms

Tipo: long

Descripción:
El tiempo máximo en milisegundos que el servidor espera a que se informen nuevos cambios de datos al cursor del flujo de cambios antes de devolver un lote vacío.

5000
Valor predeterminado: Valores aceptados: Un número entero

poll.max.batch.size

Tipo: int

Descripción:
Número máximo de documentos a leer en un solo lote al consultar un cursor de flujo de cambios para obtener nuevos datos. Puede usar esta configuración para limitar la cantidad de datos almacenados internamente en el conector.

Valor predeterminado: 1000
Valores aceptados: Un número entero

output.formato.key

Tipo: cadena

Descripción:
Especifica el formato de datos en el que el conector de origen genera el documento clave.

json
Valor predeterminado: Valoresbson jsonaceptados:,, schema

output.format.value

Tipo: cadena

Descripción:
Especifica el formato de datos en el que el conector de origen genera el documento de valor.

El conector admite Protobuf como formato de datos de salida. Puede habilitar este formato especificando el schema valor e instalando y configurando el convertidor de Protobuf de Kafka Connect.

json
Valor predeterminado: Valores aceptados:,, bsonjsonschema

output.json.formatter

Tipo: cadena

Descripción:
Nombre de la clase del formateador JSON que el conector debe usar para generar datos.

Predeterminado:

com.mongodb.kafka.connect.source.json.formatter.DefaultJson

Valores aceptados:
El nombre completo de la clase de su formateador JSON personalizado o uno de los siguientes nombres de clases de formateadores integrados:

com.mongodb.kafka.connect.source.json.formatter.DefaultJson
com.mongodb.kafka.connect.source.json.formatter.ExtendedJson
com.mongodb.kafka.connect.source.json.formatter.SimplifiedJson

Para aprender más sobre estos formatos de salida, consulta Formateadores JSON.

output.esquema.key

Tipo: cadena

Descripción:
Especifica una definición de esquema Avro para el documento clave del SourceRecord.

Para obtener más información sobre el esquema Avro, consulte Avro en la guía de formatos de datos.

Predeterminado:

{
  "type": "record",
  "name": "keySchema",
  "fields" : [ { "name": "_id", "type": "string" } ]"
}

Valores aceptados: Un esquema Avro válido

output.esquema.value

Tipo: cadena

Descripción:
Especifica una definición de esquema

Avro para el documento de valor del SourceRecord. Para obtener más información sobre el esquema Avro, consulte Avro en la guía de formatos de datos.

Predeterminado:

{
  "name": "ChangeStream",
  "type": "record",
  "fields": [
    { "name": "_id", "type": "string" },
    { "name": "operationType", "type": ["string", "null"] },
    { "name": "fullDocument", "type": ["string", "null"] },
    { "name": "ns",
      "type": [{"name": "ns", "type": "record", "fields": [
                {"name": "db", "type": "string"},
                {"name": "coll", "type": ["string", "null"] } ]
               }, "null" ] },
    { "name": "to",
      "type": [{"name": "to", "type": "record",  "fields": [
                {"name": "db", "type": "string"},
                {"name": "coll", "type": ["string", "null"] } ]
               }, "null" ] },
    { "name": "documentKey", "type": ["string", "null"] },
    { "name": "updateDescription",
      "type": [{"name": "updateDescription",  "type": "record", "fields": [
                 {"name": "updatedFields", "type": ["string", "null"]},
                 {"name": "removedFields",
                  "type": [{"type": "array", "items": "string"}, "null"]
                  }] }, "null"] },
    { "name": "clusterTime", "type": ["string", "null"] },
    { "name": "txnNumber", "type": ["long", "null"]},
    { "name": "lsid", "type": [{"name": "lsid", "type": "record",
               "fields": [ {"name": "id", "type": "string"},
                             {"name": "uid", "type": "string"}] }, "null"] }
  ]
}

Valores aceptados: un JSON schema válido

esquema.infer.valor

Tipo: booleano

Descripción:
Indica si el conector debe inferir el esquema para el documento de valor del SourceRecord. Dado que el conector procesa cada documento de forma aislada, puede generar varios esquemas.

IMPORTANTE: El conector solo lee esta configuración cuando se establece el output.format.value valor schema en.

false
Valor predeterminado: Valores aceptados: true o false

empresa emergente.moda

Tipo: cadena

Descripción:
Especifica cómo debe iniciarse el conector cuando no hay un desplazamiento de origen disponible. Reanudar un flujo de cambios requiere un token de reanudación, que el conector obtiene del desplazamiento de origen. Si no hay un desplazamiento de origen disponible, el conector puede ignorar todos o algunos de los datos de origen existentes, o puede copiar primero todos los datos de origen existentes y luego continuar con el procesamiento de nuevos datos.

startup.mode=latestSi, el conector ignora todos los datos de origen existentes.

startup.mode=timestampSi, el conector activa las startup.mode.timestamp.* propiedades. Si no se configuran propiedades, timestamp es equivalente latest a.

startup.mode=copy_existingSi, el conector copia todos los datos de origen existentes a eventos de flujo de cambios. Esta configuración es equivalente a la configuración copy.existing=true obsoleta.

Si algún sistema cambia los datos en la base de datos mientras el conector de origen convierte los datos existentes de ella, MongoDB puede producir eventos de flujo de cambios duplicados para reflejar los últimos cambios. Dado que los eventos de flujo de cambios de los que depende la copia de datos son idempotentes, los datos copiados son eventualmente coherentes, lo que se ajusta a una garantía de entrega "al menos una vez".

Valorpredeterminado:latest
Valoreslatest aceptados:,, timestampcopy_existing

startup.mode.timestamp.start.at.operación.time

Tipo: cadena

Descripción:
Se activa solo startup.mode=timestamp si. Especifica el punto de inicio para el flujo de cambios.

Para obtener más información sobre los parámetros del flujo de cambios, consulte $changeStream (agregación) en el manual de MongoDB.

""
Valor predeterminado: Valores aceptados:

• Un número entero de segundos transcurridos desde la Unix epoch en formato decimal (por ejemplo, 30)

• Un instante en el formato ISO-8601 con una precisión de un segundo (por ejemplo, 1970-01-01T00:00:30Z)

• Una marca de tiempo BSON en el formato JSON extendido canónico (v2) (por ejemplo, {"$timestamp": {"t": 30, "i": 0}})

Regex de Modo de startup.copy.existing.namespace.regex

Tipo: cadena

Descripción:
Expresión regular que el conector utiliza para hacer coincidir los espacios de nombres desde los que copiar datos. Un espacio de nombres describe el nombre de la base de datos MongoDB y la colección separados por un punto (por ejemplo,). databaseName.collectionName

Por ejemplo, la siguiente configuración de expresión regular coincide con las colecciones que comienzan con "page" en la stats base de datos:

startup.mode.copy.existing.namespace.regex=stats\.page.*

El \ carácter del ejemplo anterior escapa al . carácter que le sigue en la expresión regular. Para obtener más información sobre cómo crear expresiones regulares, consulte Patrones en la documentación de la API de Java.

Valor predeterminado: ""
Valores aceptados: Una expresión regular válida

startup.mode.copy.existing.pipeline

Tipo: cadena

Descripción:
Una matriz en línea de operaciones de canalización que el conector ejecuta al copiar datos existentes. Puede usar esta configuración para filtrar la colección de origen y mejorar el uso de índices en el proceso de copia.

Por ejemplo, la siguiente configuración usa el operador de agregación $match para indicar al conector que copie solo los documentos que contienen un closed campo con un valor false de.

startup.mode.copy.existing.pipeline=[ { "$match": { "closed": "false" } } ]

Valor ""
predeterminado:Valores aceptados: Etapas válidas de la canalización de agregación

startup.mode.copy.existing.max.threads

Tipo: int

Descripción:
El número máximo de subprocesos que el conector puede usar para copiar datos.

Predeterminado: número de procesadores disponibles en el entorno
Valores aceptados: Un número entero

startup.mode.copy.existing.queue.size

Tipo: int

Descripción:
El tamaño de la cola que el conector puede usar al copiar datos.

16000
Valor predeterminado: Valores aceptados: Un número entero

Permitir el uso de disco para copiar datos existentes

Tipo: booleano

Descripción:
Cuando true se establece en, el conector utiliza almacenamiento temporal en disco para la agregación de copia existente.

true
Valor predeterminado: Valores aceptados: true o false

mongo.errors.tolerance

Tipo: cadena

Descripción:
Indica si se debe continuar procesando mensajes cuando el conector encuentra un error.

Establezca este valor en "none" si desea que el conector deje de procesar mensajes e informe del problema si encuentra un error.

Establezca este valor en "all" si desea que el conector continúe procesando mensajes e ignore cualquier error que encuentre.

IMPORTANTE: Esta propiedad anula la propiedad errors.tolerance del marco de

trabajo Connect. "none"
Valor predeterminado: Valores aceptados: "none" o "all"

mongo.errors.log.enable

Tipo: booleano

Descripción:
Indica si el conector debe informar de los errores en el archivo de registro.

Establezca este valor en para true registrar todos los errores que encuentre el conector.

Establezca este valor en false para registrar los errores que el conector no tolera. Puede especificar qué errores debe tolerar el conector mediante la configuración errors.tolerance mongo.errors.tolerance o.

IMPORTANTE: Esta propiedad anula la propiedad errors.log.enable del marco de trabajo Connect.

false
Valor predeterminado: Valores aceptados: true o false

mongo.errors.deadletterqueue.tema.name

Tipo: cadena

Descripción:
Nombre del tema que se utilizará como cola de mensajes no entregados.

Si especifica un valor, el conector escribirá los mensajes no válidos en el tema de la cola de mensajes no entregados como cadenas JSON extendidas.

Si deja esta configuración en blanco, el conector no escribirá mensajes no válidos en ningún tema.

IMPORTANTE: errors.tolerance mongo.errors.tolerance Debe establecer "all" la configuración o en para habilitar esta propiedad.

Valor predeterminado: ""
Valores aceptados: Un nombre de tema de Kafka válido

offset.partition.name

Tipo: cadena

Descripción:
El nombre de partición de desplazamiento personalizado que se utilizará. Puede usar esta opción para indicarle al conector que inicie un nuevo flujo de cambios cuando un desplazamiento existente contenga un token de reanudación no válido.

Si deja esta configuración en blanco, el conector utiliza el nombre de partición predeterminado según los detalles de la conexión.

Para ver una estrategia para nombrar particiones de desplazamiento, consulte Restablecer desplazamientos almacenados.

Predeterminado: ""
Valores aceptados: Una cadena. Para obtener más información sobre cómo nombrar una partición, consulte SourceRecord en la documentación de la API de Apache Kafka.

heartbeat.interval.ms

Tipo: largo

Descripción:
El número de milisegundos que el conector espera entre el envío de mensajes de latido. El conector envía mensajes de latido cuando los registros de origen no se publican en el intervalo especificado. Este mecanismo mejora la capacidad de reanudación del conector para espacios de nombres de bajo volumen. Los

mensajes de latido contienen un postBatchResumeToken campo de datos. El valor de este campo contiene la entrada del oplog del servidor MongoDB que el conector leyó por última vez del flujo de cambios.

Establezca este valor en 0 para deshabilitar los mensajes de latido.

Para obtener más información, consulte Prevención en la página Token

dereanudación no válido.0
Valor predeterminado: Valores aceptados: Un número entero

heartbeat.tema.name

Tipo: cadena

Descripción:
El nombre del tema en el que el conector debe publicar mensajes de latido. Debe proporcionar un valor positivo en la heartbeat.interval.ms configuración para habilitar esta función.

Predeterminado: __mongodb_heartbeats
Valores aceptados: Un nombre de tema de Kafka válido