Todas as propriedades de configuração do conector de origem

connection.uri

Obrigatório

Type: string

Description:
The URI connection string to connect to your MongoDB instance or cluster.

To learn more, see Connect to MongoDB.

IMPORTANTE: para evitar expor suas credenciais de autenticação na sua configuração do connection.uri, utilize um ConfigProvider e defina os parâmetros de configuração apropriados.

Padrão: mongodb://localhost:27017,localhost:27018,localhost:27019
Valores aceitos: uma string de conexão de URI MongoDB

database

Tipo: string

Descrição:
Nome do banco de dados para observar as alterações. Se não estiver definido, o conector observará todos os bancos de dados para alterações.

Padrão: ""
Valores aceitos: um único nome de banco de dados

collection

Tipo: string

Descrição:
Nome da coleção no banco de dados para observar as alterações. Se não estiver definido, o conector observará todas as coleções em busca de alterações.

IMPORTANTE: Se a configuração do database estiver definida para "", o conector ignorará a configuração do collection.

Padrão: ""
Valores aceitos: Um único nome de coleção

server.api.version

Type: string

Description:
The Stable API version you want to use with your MongoDB cluster. For more information on the Stable API and versions of MongoDB server that support it, see the Stable API guide.

Default: ""
Accepted Values: An empty string or a valid Stable API version.

server.api.deprecationErrors

Type: boolean

Description:
When set to true, if the connector calls a command on your MongoDB instance that's deprecated in the declared Stable API version, it raises an exception.

You can set the API version with the server.api.version configuration option. For more information on the Stable API, see the MongoDB manual entry on the Stable API.

Default: false
Accepted Values: true or false

server.api.strict

Type: boolean

Description:
When set to true, if the connector calls a command on your MongoDB instance that's not covered in the declared Stable API version, it raises an exception.

You can set the API version with the server.api.version configuration option. For more information on the Stable API, see the MongoDB manual entry on the Stable API.

Default: false
Accepted Values: true or false

topic.prefix

Tipo: string

Descrição:
Especifica a primeira parte do nome do tópico Kafka de destino na qual o conector publica eventos de fluxo de alterações. O nome do tópico de destino é composto pelo valor topic.prefix seguido pelos nomes do banco de dados e da coleção, separados pelo valor especificado na propriedade topic.separator .

Para aprender mais, consulte o exemplo em Prefixo de nomenclatura de tópico.

Padrão: ""
Valores aceitos: uma string composta de caracteres alfanuméricos ASCII, incluindo ".", "-" e "_"

topic.suffix

Tipo: string

Descrição:
Especifica a última parte do nome do tópico Kafka de destino para o qual o conector publica eventos de fluxo de alteração. O nome do tópico de destino é composto dos nomes do banco de dados e da coleção seguidos pelo valor topic.suffix, separado pelo valor especificado na propriedade topic.separator.

Para aprender mais, veja o exemplo em Sufixo de Nomenclatura de Tópico.

Padrão: ""
Valores aceitos: uma string composta de caracteres alfanuméricos ASCII, incluindo ".", "-" e "_"

topic.namespace.map

Type: string

Description:
Specifies a JSON mapping between change stream document namespaces and topic names.

You can use to topic.namespace.map property to specify complex mappings. This property supports regex and wildcard matching.

To learn more about these behaviors and view examples, see Topic Namespace Map.

Default: ""
Accepted Values: A valid JSON object

topic.separator

Tipo: string

Descrição:
Especifica a string que o conector utiliza para concatenar os valores utilizados para criar o nome do seu tópico. O conector publica registros em um tópico com um nome formado pela concatenação dos valores dos seguintes campos na seguinte ordem:

1. topic.prefix

2. database

3. collection

4. topic.suffix

Por exemplo, a seguinte configuração instrui o conector a publicar documentos de fluxo de alterações da coleção coll do banco de dados db para o tópico prefix-db-coll:

topic.prefix=prefix
database=db
collection=coll
topic.separator=-

IMPORTANT: When you use the topic.separator property, note that it doesn't affect how you define the topic.namespace.map property. The topic.namespace.map property uses MongoDB namespaces which you must always specify with a . character to separate the database and collection name.

Default: "."
Accepted Values: A string

topic.mapper

Tipo: string

Descrição:
A classe Java que define sua lógica de mapeamento de tópico personalizada.

Padrão: com.mongodb.kafka.connect.source.topic.mapping.DefaultTopicMapper
Valores aceitos: nome de classe completa válido de uma implementação da classe TopicMapper.

gasoduto

Tipo: string

Descrição:
Um array de pipeline de agregação para executar em seu fluxo de alterações. Você deve definir essa configuração para o documento do evento de fluxo de alterações, não para o campo fullDocument.

Por exemplo:

[{"$match": { "$and": [{"operationType": "insert"}, {"fullDocument.eventId": 1404 }] } }]

Para mais exemplos, consulte:

• Personalize um pipeline para filtrar eventos de mudança

• Ouça mudanças em múltiplas fontes

Padrão: "[]"
Valores aceitos: fase do pipeline de agregação válido

change.stream.full.document

Type: string

Description:
Determines what values your change stream returns on update operations.

The default setting returns the differences between the original document and the updated document.

The updateLookup setting returns the differences between the original document and updated document as well as a copy of the entire updated document at a point in time after the update.

The whenAvailable setting returns the updated document, if available.

The required setting returns the updated document and raises an error if it is not available.

For more information on how this change stream option works, see Lookup Full Document for Update Operations in the MongoDB manual.

Default: ""
Accepted Values: "", "updateLookup", "whenAvailable", or "required"

change.stream.show.expanded.events

Type: boolean

Description:
Determines if change streams notifies for DDL events such as
createIndexes and
dropIndexes
events. To learn more, see showExpandedEvents.

This setting is required to show
updateDescription.disambiguatedPaths in update events, which
clarifies changes that involve ambiguous fields. To learn more,
see disambiguatedPaths.

Default: false
Accepted Values: true or false

change.stream.full.document.before.change

Type: string

Description:
Configures the document pre-image your change stream returns on update operations. The pre-image is not available for source records published while copying existing data, and the pre-image configuration has no effect on copying.

To learn how to configure a collection to enable pre-images, see Change Streams with Document Pre- and Post-Images in the MongoDB manual.

The default setting suppresses the document pre-image.

The whenAvailable setting returns the document pre-image if it's available, before it was replaced, updated, or deleted.

The required setting returns the document pre-image and raises an error if it is not available.

Default: ""
Accepted Values: "" or "whenAvailable" or "required"

publish.full.document.only

Type: boolean

Description:
Whether to return only the fullDocument field from the change stream event document produced by any update event. The fullDocument field contains the most current version of the updated document. To learn more about the fullDocument field, see the update Event in the Server manual.

When set to true, the connector overrides the change.stream.full.document setting and sets it to updateLookup so that the fullDocument field contains updated documents.

Default: false
Accepted Values: true or false

publish.full.document.only.tombstone.on.delete

Tipo: booleano

descrição:
Se os eventos da lápide devem ser devolvidos quando os documentos são excluídos. Os eventos Tombstone contêm as chaves dos documentos a excluir com valores null. Esta configuração se aplica apenas quando publish.full.document.only é true.

padrão: false
Valores aceitos: true ou false

change.stream.document.key.as.key

Tipo: booleano

descrição:
Indica se o sistema deve usar a chave do documento para a chave do registro de origem se a chave do documento estiver presente.

Quando definido como true, o conector adiciona chaves dos documentos excluídos aos eventos de marca para exclusão. Quando definido como false, o conector usa o token de continuação como chave de origem para os eventos de marca para exclusão.

Padrão: true
Valores aceitos: true ou false

agrupamento

Type: string

Description:
A JSON collation document that specifies language-specific ordering rules that MongoDB applies to the documents returned by the change stream.

Default: ""
Accepted Values: A valid collation JSON document

batch.size

Tipo: int

Descrição:
O tamanho do lote do cursor do fluxo de alterações.

padrão: 0
Valores aceitos: um número inteiro

poll.await.time.ms

Tipo: long

Descrição:
A quantidade máxima de tempo em milissegundos que o servidor aguarda por novas alterações de dados para relatar ao cursor do fluxo de alterações antes de retornar um lote vazio.

padrão: 5000
Valores aceitos: um número inteiro

poll.max.batch.size

Tipo: int

descrição:
Número máximo de documentos a serem lidos em um único lote ao pesquisar um cursor de fluxo de alteração para novos dados. Você pode usar essa configuração para limitar a quantidade de dados armazenados internamente no conector.

padrão: 1000
Valores aceitos: um número inteiro

output.format.key

Tipo: string

Descrição:
Especifica qual formato de dados o conector de origem gera para o documento de chave.

Padrão: json
Valores aceitos: bson, json, schema

output.format.value

Tipo: string

Descrição:
Especifica qual formato de dados o conector de origem gera o documento de valor.

O conector é compatível com Protobuf como um formato de dados de saída. Você pode habilitar este formato especificando o valor do schema e instalando e configurando o Conversor de Protobuf do Kafka Connect.

Padrão: json
Valores aceitos: bson, json, schema

output.json.formatter

Tipo: string

Descrição:
Nome da classe do formatador JSON que o conector deve usar para gerar dados.

Padrão:

com.mongodb.kafka.connect.source.json.formatter.DefaultJson

Valores aceitos:
Seu nome de classe completo do formatador JSON personalizado ou um dos seguintes nomes de classe do formatador integrado:

com.mongodb.kafka.connect.source.json.formatter.DefaultJson
com.mongodb.kafka.connect.source.json.formatter.ExtendedJson
com.mongodb.kafka.connect.source.json.formatter.SimplifiedJson

Para saber mais sobre esses formatos de saída, consulte Formatadores JSON.

output.schema.key

Tipo: string

Descrição:
Especifica uma definição de esquema Avro para o documento de chave do SourceRecord.

Para aprender mais sobre o esquema Avro, consulte Avro no guia Formatos de Dados.

Padrão:

{
  "type": "record",
  "name": "keySchema",
  "fields" : [ { "name": "_id", "type": "string" } ]"
}

Valores aceitos: um esquema AVRO válido

output.schema.value

Tipo: string

Descrição:
Especifica uma definição de esquema Avro para o documento de valor do SourceRecord.

Para aprender mais sobre o esquema Avro, consulte Avro no guia Formatos de Dados.

Padrão:

{
  "name": "ChangeStream",
  "type": "record",
  "fields": [
    { "name": "_id", "type": "string" },
    { "name": "operationType", "type": ["string", "null"] },
    { "name": "fullDocument", "type": ["string", "null"] },
    { "name": "ns",
      "type": [{"name": "ns", "type": "record", "fields": [
                {"name": "db", "type": "string"},
                {"name": "coll", "type": ["string", "null"] } ]
               }, "null" ] },
    { "name": "to",
      "type": [{"name": "to", "type": "record",  "fields": [
                {"name": "db", "type": "string"},
                {"name": "coll", "type": ["string", "null"] } ]
               }, "null" ] },
    { "name": "documentKey", "type": ["string", "null"] },
    { "name": "updateDescription",
      "type": [{"name": "updateDescription",  "type": "record", "fields": [
                 {"name": "updatedFields", "type": ["string", "null"]},
                 {"name": "removedFields",
                  "type": [{"type": "array", "items": "string"}, "null"]
                  }] }, "null"] },
    { "name": "clusterTime", "type": ["string", "null"] },
    { "name": "txnNumber", "type": ["long", "null"]},
    { "name": "lsid", "type": [{"name": "lsid", "type": "record",
               "fields": [ {"name": "id", "type": "string"},
                             {"name": "uid", "type": "string"}] }, "null"] }
  ]
}

Valores aceitos: um JSON schema válido

output.schema.infer.value

Tipo: booleano

Descrição:
Se o conector deve inferir o esquema para o documento de valor do SourceRecord. Como o conector processa cada documento em isolamento, o conector pode gerar muitos esquemas.

IMPORTANTE: O conector só lê essa configuração quando você define a configuração output.format.value como schema.

Padrão: false
Valores aceitos: true ou false

startup.mode

Tipo: string

Descrição:
Especifica como o conector deve ser iniciado quando não houver deslocamento de origem disponível. A retomada de um fluxo de alterações requer um token de retomada, que o conector obtém do deslocamento de origem. Se nenhuma compensação de origem estiver disponível, o conector poderá ignorar todos ou alguns dos dados de origem existentes ou poderá, em um primeiro momento, copiar todos os dados de origem existentes e, em seguida, continuar em processamento de novos dados.

Se startup.mode=latest, o conector ignorará todos os dados de origem existentes.

Se startup.mode=timestamp, o conector aciona propriedades startup.mode.timestamp.*. Se nenhuma propriedade for configurada, timestamp é equivalente a latest.

Se startup.mode=copy_existing, o conector copia todos os dados de origem existentes para eventos do Change Stream. Esta configuração é equivalente à configuração preterida copy.existing=true.

Se algum sistema alterar os dados no banco de dados enquanto o conector de origem converte os dados existentes dele, o MongoDB poderá produzir eventos de fluxo de mudança duplicados para refletir as alterações mais recentes. Como os eventos de fluxo de alterações nos quais a cópia de dados depende são idempotentes, os dados copiados são eventualmente consistentes, em conformidade com uma garantia de entrega "pelo menos uma vez".

Padrão:latest
Valores aceitos: latest, timestamp, copy_existing

startup.mode.timestamp.start.at.operation.time

Type: string

Description:
Actuated only if startup.mode=timestamp. Specifies the starting point for the change stream.

To learn more about Change Stream parameters, see $changeStream (aggregation) in the MongoDB manual.

Default: ""
Accepted Values:

• Um número inteiro de segundos desde a época no formato decimal (por exemplo, 30)

• Um instante no formato ISO-8601 com uma segunda precisão (por exemplo, 1970-01-01T00:00:30Z)

• Um carimbo de data/hora JSON no formato JSON estendido canônico (v2) (por exemplo, {"$timestamp": {"t": 30, "i": 0}})

startup.mode.copy.existing.namespace.regex

Tipo: string

Descrição:
Expressão regular que o conector usa para corresponder aos namespaces dos quais copiar dados. Um namespace descreve o nome do banco de dados MongoDB e a coleção separados por um período (por exemplo, databaseName.collectionName).

Por exemplo, a seguinte configuração de expressão regular corresponde às coleções que começam com "page" no banco de dados stats:

startup.mode.copy.existing.namespace.regex=stats\.page.*

O caractere \ no exemplo acima escapa o caractere . que o segue na expressão regular. Para obter mais informações sobre como criar expressões regulares, consulte Padrões na documentação da API Java.

Padrão: ""
Valores aceitos: uma expressão regular válida

startup.mode.copy.existing.pipeline

Type: string

Description:
An inline array of pipeline operations the connector runs when copying existing data. You can use this setting to filter the source collection and improve the use of indexes in the copying process.

For example, the following setting uses the $match aggregation operator to instruct the connector to copy only documents that contain a closed field with a value of false.

startup.mode.copy.existing.pipeline=[ { "$match": { "closed": "false" } } ]

Padrão: ""
Valores aceitos: fases do pipeline de agregação válidas

startup.mode.copy.existing.max.threads

Tipo: int

Descrição:
O número máximo de threads que o conector pode usar para copiar dados.

Padrão: número de processadores disponíveis no ambiente
Valores aceitos: um número inteiro

startup.mode.copy.existing.queue.size

Tipo: int

Descrição:
O tamanho da fila que o conector pode usar ao copiar dados.

Padrão: 16000
Valores aceitos: um número inteiro

startup.mode.copy.existing.allow.disk.use

Tipo: booleano

descrição:
Quando definido como true, o conector usa armazenamento temporário em disco para a agregação de cópia existente.

padrão: true
Valores aceitos: true ou false

mongo.errors.tolerance

Tipo: string

Descrição:
Se deve continuar processando mensagens quando o conector encontrar um erro.

Defina isso como "none" se quiser que o conector pare de processar mensagens e relate o problema se encontrar um erro.

Defina isso como "all" se quiser que o conector continue processando mensagens e ignore os erros encontrados.

IMPORTANTE: Esta propriedade substitui a propriedade errors.tolerance Connect Framework.

Padrão: "none"
Valores aceitos: "none" ou "all"

mongo.errors.log.enable

Tipo: booleano

Descrição:
Se o conector deve relatar erros no arquivo de log.

Defina para true para log todos os erros encontrados pelo conector.

Configure isto para false para log erros que não são tolerados pelo conector. Você pode especificar quais erros o conector deve tolerar usando a configuração errors.tolerance ou mongo.errors.tolerance.

IMPORTANTE: Esta propriedade substitui a propriedade errors.log.enable Connect Framework.

Padrão: false
Valores aceitos: true ou false

mongo.errors.deadletterqueue.topic.name

Type: string

Description:
The name of topic to use as the dead letter queue.

If you specify a value, the connector writes invalid messages to the dead letter queue topic as extended JSON strings.

If you leave this setting blank, the connector does not write invalid messages to any topic.

IMPORTANTE: Você deve definir errors.tolerance ou mongo.errors.tolerance como "all" para habilitar esta propriedade.

Padrão: ""
Valores aceitos: um nome de tópico Kafka válido

offset.partition.name

Tipo: string

Descrição:
O nome da partição de deslocamento personalizada a ser usada. Você pode usar essa opção para instruir o conector a iniciar um novo fluxo de alterações quando um deslocamento existente contiver um token de currículo inválido.

Se você deixar essa configuração em branco, o conector usará o nome da partição padrão com base nos detalhes da conexão.

Para exibir uma estratégia para nomear partições de deslocamento, consulte Redefinir deslocamentos armazenados.

Padrão: ""
Valores aceitos: uma string. Para aprender mais sobre como nomear uma partição, consulte SourceRecord na documentação da API do Apache Kafka.

heartbeat.interval.ms

Tipo: long

Descrição:
O número de milissegundos que o conector espera entre o envio de mensagens de pulsação. O conector envia mensagens de pulsação quando os registros de origem não são publicados no intervalo especificado. Este mecanismo melhora a capacidade de retomada do conector para namespaces de baixo volume.

As mensagens de pulsação contêm um campo de dados postBatchResumeToken. O valor deste campo contém a entrada de oplog do servidor MongoDB que o conector leu pela última vez a partir do fluxo de alteração.

Defina isso como 0 para desativar as mensagens de pulsação.

Para aprender mais, consulte Prevenção na página Token de retomada inválido.

Padrão: 0
Valores aceitos: um número inteiro

heartbeat.topic.name

Tipo: string

Descrição:
O nome do tópico no qual o conector deve publicar mensagens de pulsação. Você deve fornecer um valor positivo na configuração heartbeat.interval.ms para ativar esse recurso.

padrão: __mongodb_heartbeats
Valores aceitos: um nome de tópico Kafka válido