Todas las propiedades de configuración del Connector fuente

connection.uri

Requerido

Tipo: string

Descripción:
La cadena de conexión URI para conectarse a su instancia o clúster de MongoDB.

Para aprender más, consulta Conéctese a MongoDB.

IMPORTANTE: Para evitar exponer tus credenciales de autenticación en tu configuración de connection.uri, utiliza un ConfigProvider y establece los parámetros de configuración adecuados.

Por defecto: mongodb://localhost:27017,localhost:27018,localhost:27019
Valores aceptados: Una cadena de conexión URI de MongoDB

database

Tipo: string

descripción:
Nombre de la base de datos para observar los cambios. Si no se establece, el conector supervisa todas las bases de datos en busca de cambios.

por defecto: ""
Valores aceptados: Un único nombre de base de datos

Colección

Tipo: string

Descripción:
Nombre de la colección en la base de datos para supervisar los cambios. Si no se establece, el conector supervisa todas las colecciones en busca de cambios.

IMPORTANTE: Si su configuración de database está establecida en "", el conector ignora la configuración de collection.

por defecto: ""
Valores aceptados: Un único nombre de colección

servidor.api.version

Tipo: string

descripción:
La versión de Stable API que desea utilizar con su clúster de MongoDB. Para obtener más información sobre la Stable API y las versiones del servidor de MongoDB que la admiten, consulte la guía de Stable API.

por defecto: ""
Valores aceptados: Una string vacía o una versión válida de Stable API.

servidor.api.deprecationErrors

Tipo: booleano

descripción:
Cuando se establece en true, si el conector llama a un comando en su instancia de MongoDB que está obsoleto en la versión de Stable API declarada, genera una excepción.

Puede establecer la versión de la API con la opción de configuración server.api.version. Para obtener más información sobre la Stable API, consulte la entrada del manual de MongoDB sobre la Stable API.

Por defecto: false
Valores aceptados: true o false

servidor.api.strict

Tipo: booleano

descripción:
Cuando se establece en true, si el conector llama a un comando en su instancia de MongoDB que no está cubierto en la versión declarada de Stable API, genera una excepción.

Puede establecer la versión de la API con la opción de configuración server.api.version. Para obtener más información sobre la Stable API, consulte la entrada del manual de MongoDB sobre la Stable API.

Por defecto: false
Valores aceptados: true o false

Preámbulo del tema

Tipo: string

descripción:
Especifica la primera parte del nombre del tema de Kafka de destino al que el conector publica eventos de flujo de cambios. El nombre del tema de destino se compone del valor topic.prefix seguido de los nombres de la base de datos y la colección, separados por el valor especificado en la propiedad topic.separator.

Para aprender más, consulte el ejemplo en Prefijo de nomenclatura de temas.

Por defecto: ""
Valores aceptados: Una string compuesta por caracteres alfanuméricos ASCII, incluido ".", "-" y "_"

tema.suffix

Tipo: string

Descripción:
Especifica la última parte del nombre del tema de Kafka de destino al que el conector publica eventos de flujo de cambios. El nombre del tema de destino se compone de los nombres de la base de datos y la colección seguidos del valor topic.suffix, separados por el valor especificado en la propiedad topic.separator.

Para aprender más información, consulte el ejemplo en Sufijo de nomenclatura de temas.

Por defecto: ""
Valores aceptados: Una string compuesta por caracteres alfanuméricos ASCII, incluido ".", "-" y "_"

tema.namespace.map

Tipo: string

Descripción:
Especifica una asignación JSON entre los namespace de documentos de flujo de cambios y los nombres de temas.

Puede utilizar la propiedad topic.namespace.map para especificar asignaciones complejas. Esta propiedad admite la coincidencia de expresiones regulares y comodines.

Para aprender más sobre estos comportamientos y ver ejemplos, consulte Mapa de namespace de temas.

Por defecto: ""
Valores aceptados: Un objeto JSON válido

separador de tema

Tipo: string

descripción:
Especifica el string que el conector utiliza para concatenar los valores utilizados para crear el nombre de su tema. El conector publica registros en un tema con un nombre formado al concatenar los valores de los siguientes campos en el siguiente orden:

1. topic.prefix

2. database

3. collection

4. topic.suffix

Por ejemplo, la siguiente configuración indica al conector que publique documentos de flujo de cambios de la colección coll de la base de datos db en el tema prefix-db-coll:

topic.prefix=prefix
database=db
collection=coll
topic.separator=-

IMPORTANTE: Cuando utilice la propiedad topic.separator, tenga en cuenta que no afecta a la forma en que define la propiedad topic.namespace.map. La propiedad topic.namespace.map utiliza MongoDB namespace que siempre debe especificar con un carácter . para separar la base de datos y el nombre de la colección.

por defecto: "."
Valores aceptados: Una string

tema.mapper

Tipo: string

descripción:
La clase Java que define la lógica de asignación de temas personalizada.

por defecto: com.mongodb.kafka.connect.source.topic.mapping.DefaultTopicMapper
Valores aceptados: Nombre de clase completo válido de una implementación de la TopicMapper clase.

pipeline

Tipo: string

Descripción:
Un arreglo de pipeline de agregación para ejecutar en su flujo de cambios. Debe configurar esta configuración para el documento de evento del flujo de cambios, no el campo fullDocument.

Por ejemplo:

[{"$match": { "$and": [{"operationType": "insert"}, {"fullDocument.eventId": 1404 }] } }]

Para más ejemplos, consulta:

• Personaliza una pipeline para filtrar eventos de cambio

• Escuchar cambios en múltiples orígenes

por defecto: "[]"
Valores aceptados: etapa válida del pipeline de agregación

flujo de cambios.full.documento

Tipo: string

descripción:
Determina qué valores devuelve su flujo de cambios en las operaciones de actualización.

La configuración por defecto devuelve las diferencias entre el documento original y el documento actualizado.

La configuración updateLookup devuelve las diferencias entre el documento original y el documento actualizado, así como una copia de todo el documento actualizado en un punto en el tiempo después de la actualización.

La configuración whenAvailable devuelve el documento actualizado, si está disponible.

La configuración required devuelve el documento actualizado y genera un error si no está disponible.

Para más información sobre cómo funciona esta opción de flujo de cambios, consulta Búsqueda de documento completo para las operaciones de actualizar en el manual de MongoDB.

Por defecto: ""
Valores aceptados: "", "updateLookup", "whenAvailable" o "required"

flujo.de.cambios.mostrar.eventos.expandidos

Tipo: booleano

descripción:
Determina si las transmisiones de cambios notifican los eventos DDL, como
createIndexes y
dropIndexes
eventos. Para aprender más, consulte showExpandedEvents.

Esta configuración es obligatoria para mostrar
updateDescription.disambiguatedPaths en eventos de actualizar, lo que
aclara los cambios que implican campos ambiguos. Para aprender más,
consulte disambiguatedPaths.

por defecto: false
Valores aceptados: true o false

flujo.de.cambios.full.documento.before.change

Tipo: string

descripción:
Configura la preimagen del documento que devuelve el flujo de cambios en las operaciones para actualizar. La preimagen no está disponible para los registros de origen publicados mientras se copian los datos existentes, y la configuración de la preimagen no tiene ningún efecto en la copia.

Para aprender a configurar una colección para habilitar preimágenes, consulta Change Streams con preimágenes y postimágenes de documentos en el manual de MongoDB.

La configuración por defecto suprime la pre-imagen del documento.

La configuración whenAvailable devuelve la imagen anterior del documento, si está disponible, antes de que fuera reemplazado, actualizado o borrado.

La configuración required devuelve la preimagen del documento y genera un error si no está disponible.

por defecto: ""
Valores admitidos: "" o "whenAvailable" o "required"

publish.full.document.only

Tipo: booleano

descripción:
Si se devuelve únicamente el campo fullDocument del documento de evento de flujo de cambios producido por cualquier evento de actualizar. El campo fullDocument contiene la versión más reciente del documento actualizado. Para aprender más sobre el campo fullDocument, consulte el evento de actualizar en el manual del servidor.

Cuando se establece en true, el conector anula la configuración change.stream.full.document y la establece en updateLookup para que el campo fullDocument contenga documentos actualizados.

Por defecto: false
Valores aceptados: true o false

Solo document completo (tumba) al borrar

Tipo: booleano

Descripción:
Si se deben devolver eventos de lápida cuando se borran documentos. Los eventos de lápidas contienen las claves de los documentos que se van a borrar con valores null. Esta configuración se aplica solo cuando publish.full.document.only es true.

por defecto: false
Valores aceptados: true o false

flujo de cambios.documento.key.as.key

Tipo: booleano

descripción:
Si se debe usar la clave del documento para la clave del registro de origen si la clave del documento está presente.

Cuando se establece en true, el conector añade claves de los documentos borrados a los eventos de lápida. Cuando se establece en false, el conector utiliza el token de reanudación como clave de origen para los eventos de lápida.

por defecto: true
Valores aceptados: true o false

intercalación

Tipo: string

descripción:
Un documento de intercalación JSON que especifica reglas de ordenamiento específicas del lenguaje que MongoDB aplica a los documentos devueltos por el flujo de cambios.

por defecto: ""
Valores aceptados: Un documento JSON de intercalación válido

batch.size

Tipo: int

Descripción:
El tamaño del agrupar de cursores del flujo de cambios.

Por defecto: 0
Valores aceptados: Un número entero

poll.await.time.ms

Tipo: largo

descripción:
El tiempo máximo en milisegundos que el servidor espera para que los nuevos cambios de datos se informen al cursor del flujo de cambios antes de devolver una agrupar vacía.

Por defecto: 5000
Valores aceptados: Un número entero

poll.max.batch.size

Tipo: int

descripción:
Número máximo de documentos para leer en un solo agrupar al sondear un cursor de flujo de cambios para obtener nuevos datos. Puede utilizar esta configuración para limitar la cantidad de datos almacenados en búfer internamente en el conector.

por defecto: 1000
Valores aceptados: un número entero

output.formato.key

Tipo: string

Descripción:
Especifica qué formato de datos genera el conector de origen para el documento clave.

por defecto: json
Valores aceptados: bson, json, schema

output.format.value

Tipo: string

descripción:
Especifica qué formato de datos genera el conector de origen para el documento de valor.

El conector admite Protobuf como formato de datos de salida. Puede habilitar este formato especificando el valor schema e instalando y configurando el Kafka Connect Protobuf Converter.

Por defecto: json
Valores aceptados: bson, json, schema

output.json.formatter

Tipo: string

descripción:
nombre de la clase del formateador JSON que el conector debe usar para generar datos.

Por defecto:

com.mongodb.kafka.connect.source.json.formatter.DefaultJson

Valores aceptados:
El nombre de clase completo de su formateador JSON personalizado o uno de los siguientes nombres de clase del formateador con funcionalidad incorporada:

com.mongodb.kafka.connect.source.json.formatter.DefaultJson
com.mongodb.kafka.connect.source.json.formatter.ExtendedJson
com.mongodb.kafka.connect.source.json.formatter.SimplifiedJson

Para aprender más sobre estos formatos de salida, consulta Formateadores JSON.

output.esquema.key

Tipo: string

Descripción:
Especifica una definición de esquema Avro para el documento clave de SourceRecord.

Para aprender más sobre el esquema Avro, consulte Avro en la guía de formatos de datos.

Por defecto:

{
  "type": "record",
  "name": "keySchema",
  "fields" : [ { "name": "_id", "type": "string" } ]"
}

Valores aceptados: Un esquema Avro válido

output.esquema.value

Tipo: string

descripción:
Especifica una definición de esquema Avro para el documento de valor del SourceRecord.

Para aprender más sobre el esquema Avro, consulte Avro en la guía de formatos de datos.

Por defecto:

{
  "name": "ChangeStream",
  "type": "record",
  "fields": [
    { "name": "_id", "type": "string" },
    { "name": "operationType", "type": ["string", "null"] },
    { "name": "fullDocument", "type": ["string", "null"] },
    { "name": "ns",
      "type": [{"name": "ns", "type": "record", "fields": [
                {"name": "db", "type": "string"},
                {"name": "coll", "type": ["string", "null"] } ]
               }, "null" ] },
    { "name": "to",
      "type": [{"name": "to", "type": "record",  "fields": [
                {"name": "db", "type": "string"},
                {"name": "coll", "type": ["string", "null"] } ]
               }, "null" ] },
    { "name": "documentKey", "type": ["string", "null"] },
    { "name": "updateDescription",
      "type": [{"name": "updateDescription",  "type": "record", "fields": [
                 {"name": "updatedFields", "type": ["string", "null"]},
                 {"name": "removedFields",
                  "type": [{"type": "array", "items": "string"}, "null"]
                  }] }, "null"] },
    { "name": "clusterTime", "type": ["string", "null"] },
    { "name": "txnNumber", "type": ["long", "null"]},
    { "name": "lsid", "type": [{"name": "lsid", "type": "record",
               "fields": [ {"name": "id", "type": "string"},
                             {"name": "uid", "type": "string"}] }, "null"] }
  ]
}

Valores aceptados: un JSON schema válido

esquema.infer.valor

Tipo: booleano

Descripción:
Si el conector debe inferir el esquema para el documento de valor del SourceRecord. Dado que el conector procesa cada documento de forma aislada, el conector puede generar muchos esquemas.

IMPORTANTE: El conector solo lee esta configuración cuando configure su output.format.value configuración en schema.

por defecto: false
Valores aceptados: true o false

empresa emergente.moda

Tipo: string

descripción:
Especifica cómo debe iniciarse el conector cuando no hay un source offset disponible. Para reanudar un flujo de cambios se necesita un resume token, que el conector obtiene del source offset. Si no hay un source offset disponible, el conector puede ignorar todos o algunos de los datos de origen existentes, o puede copiar primero todos los datos de origen existentes y luego continuar con el procesamiento de datos nuevos.

Si startup.mode=latest, el conector ignora todos los datos de origen existentes.

Si startup.mode=timestamp, el conector activa las propiedades startup.mode.timestamp.*. Si no se configura ninguna propiedad, timestamp es equivalente a latest.

Si startup.mode=copy_existing, el conector copia todos los datos de origen existentes en los eventos de flujo de cambios. Esta configuración es equivalente a la configuración obsoleta copy.existing=true.

Si algún sistema cambia los datos en la base de datos mientras el conector de origen convierte los datos existentes de ella, MongoDB puede producir eventos de flujo de cambios duplicados para reflejar los últimos cambios. Dado que los eventos de flujo de cambios de los que depende la copia de datos son idempotentes, los datos copiados son eventualmente coherentes, lo que se ajusta a una garantía de entrega "al menos una vez".

por defecto:latest
Valores aceptados: latest, timestamp, copy_existing

startup.mode.timestamp.start.at.operación.time

Tipo: string

Descripción:
Se activa solo si startup.mode=timestamp. Especifica el punto de inicio para el flujo de cambios.

Para obtener más información sobre los parámetros de Change Stream, consulte $changeStream (agregación) en el manual de MongoDB.

Por defecto: ""
Valores aceptados:

• Un número entero de segundos transcurridos desde la Unix epoch en formato decimal (por ejemplo, 30)

• Un instante en el formato ISO-8601 con una precisión de un segundo (por ejemplo, 1970-01-01T00:00:30Z)

• Una marca de tiempo BSON en el formato JSON extendido canónico (v2) (por ejemplo, {"$timestamp": {"t": 30, "i": 0}})

Regex de Modo de startup.copy.existing.namespace.regex

Tipo: string

descripción:
expresión regular que el conector utiliza para hacer coincidir namespace desde los que copiar datos. Un namespace describe el nombre de la base de datos de MongoDB y la colección separados por un punto (por ejemplo, databaseName.collectionName).

Por ejemplo, la siguiente configuración de expresión regular hace coincidir colecciones que comienzan con "page" en la base de datos stats:

startup.mode.copy.existing.namespace.regex=stats\.page.*

El carácter \ en el ejemplo anterior escapa el carácter . que le sigue en la expresión regular. Para obtener más información sobre cómo compilar expresiones regulares, consulte patrón en la documentación de la API de Java.

Por defecto: ""
Valores aceptados: Una expresión regular válida

startup.mode.copy.existing.pipeline

Tipo: string

descripción:
Un arreglo en línea de operaciones de pipeline que el conector ejecuta al copiar datos existentes. Puede utilizar esta configuración para filtro la colección de origen y mejorar el uso de los índices en el proceso de copia.

Por ejemplo, la siguiente configuración utiliza el $match operador de agregación para indicar al conector que copie solo los documentos que contengan un campo closed con un valor de false.

startup.mode.copy.existing.pipeline=[ { "$match": { "closed": "false" } } ]

Por defecto: ""
Valores aceptados: etapas válidas del pipeline de agregación

startup.mode.copy.existing.max.threads

Tipo: int

descripción:
El número máximo de subprocesos que el conector puede usar para copiar datos.

Por defecto: número de procesadores disponibles en el entorno
Valores aceptados: Un número entero

startup.mode.copy.existing.queue.size

Tipo: int

Descripción:
El tamaño de la cola que el conector puede usar al copiar datos.

por defecto: 16000
Valores aceptados: Un número entero

Permitir el uso de disco para copiar datos existentes

Tipo: booleano

Descripción:
Cuando se establece en true, el conector utiliza almacenamiento temporal en disco para copiar la agregación existente.

Por defecto: true
Valores aceptados: true o false

mongo.errors.tolerance

Tipo: string

Descripción:
Indica si se debe continuar con el procesamiento de los mensajes cuando el conector encuentra un error.

Establezca esto en "none" si desea que el conector deje de procesamiento mensajes e informe del problema si encuentra un error.

Establezca esto en "all" si desea que el conector siga en procesamiento mensajes e ignore los errores que encuentre.

IMPORTANTE: Esta propiedad anula la errors.tolerance propiedad de Connect Framework.

Por defecto: "none"
Valores aceptados: "none" o "all"

mongo.errors.log.enable

Tipo: booleano

descripción:
Indica si el conector debe informar errores en la entrada de registro.

Establezca esto en true para registrar todos los errores que el conector encuentre.

Establezca esto en false para registro los errores que el conector no tolera. Puede especificar qué errores debe tolerar el conector utilizando la configuración errors.tolerance o mongo.errors.tolerance.

IMPORTANTE: Esta propiedad anula la errors.log.enable propiedad de Connect Framework.

Por defecto: false
Valores aceptados: true o false

mongo.errors.deadletterqueue.tema.name

Tipo: string

descripción:
El nombre del tema que se utilizará como fila de letra muerta.

Si especifica un valor, el conector guarda mensajes no válidos en el tema de la fila de letra muerta como cadenas JSON extendidas.

Si deja esta configuración en blanco, el conector no guarda mensajes inválidos en ningún tema.

IMPORTANTE: Debe configurar la configuración errors.tolerance o mongo.errors.tolerance en "all" para habilitar esta propiedad.

Por defecto: ""
Valores aceptados: Un nombre de tema de Kafka válido

offset.partition.name

Tipo: string

descripción:
El nombre de la partición de desplazamiento personalizado que se va a utilizar. Puede utilizar esta opción para indicar al conector que inicie un nuevo flujo de cambios cuando un desplazamiento existente contenga un token de reanudación no válido.

Si deja esta configuración en blanco, el conector utiliza el nombre de partición por defecto basado en los detalles de la conexión.

Para ver una estrategia para nombrar particiones de desplazamiento, consulte Restablecer desplazamientos almacenados.

Por defecto: ""
Valores aceptados: Una string. Para aprender más sobre cómo nombrar una partición, consulte SourceRecord en la documentación de la API de Apache Kafka.

heartbeat.interval.ms

Tipo: long

Descripción:
El número de milisegundos que el conector espera entre el envío de mensajes de latido. El conector envía mensajes de latido cuando los registros de origen no se publican en el intervalo especificado. Este mecanismo mejora la reanudabilidad del conector para namespace de bajo volumen.

Los mensajes de latido contienen un campo de datos postBatchResumeToken. El valor de este campo contiene la entrada oplog del servidor MongoDB que el conector leyó por última vez del flujo de cambios.

Establezca esto en 0 para deshabilitar los mensajes de latido.

Para aprender más, consulte Prevención en la página Token de reanudación no válido.

por defecto: 0
Valores aceptados: Un número entero

heartbeat.tema.name

Tipo: string

descripción:
El nombre del tema en el que el conector debe publicar mensajes de latido. Debe proporcionar un valor positivo en la configuración heartbeat.interval.ms para habilitar esta funcionalidad.

Por defecto: __mongodb_heartbeats
Valores admitidos: Un nombre de tema de Kafka válido