Todas as propriedades de configuração do conector de origem

connection.uri

Obrigatório

Tipo: string

Descrição:
a string de conexão do URI para se conectar à sua instância ou cluster do MongoDB .

Para saber mais, consulte Conectar ao MongoDB.

IMPORTANTE: para evitar expor suas credenciais de autenticação na sua configuração do connection.uri, utilize um ConfigProvider e defina os parâmetros de configuração apropriados.

mongodb://localhost:27017,localhost:27018,localhost:27019
Padrão:Valores aceitos: uma string de conexão de URI MongoDB

database

Tipo: string

Descrição:
Nome do banco de dados para observar as alterações. Se não estiver definido, o conector observará todos os bancos de dados para alterações.

Padrão: ""
Valores aceitos: um único nome de banco de dados

collection

Tipo: string

Descrição:
Nome da coleção no banco de dados para acompanhar as alterações. Se não estiver definido, o conector observará todas as coleções para alterações.

IMPORTANTE: se a database configuração do estiver definida "" para, o conector ignorará a configuração collection do.

""
Padrão:Valores aceitos: um único nome de coleção

server.api.version

Tipo: string

Descrição:
A versão da Stable API que você deseja usar com o cluster MongoDB . Para obter mais informações sobre a API estável e as versões do servidor MongoDB que a suportam, consulte o guia da API estável .

Padrão: ""
Valores aceitos: uma string vazia ou uma versão válida da API estável.

server.api.deprecationErrors

Tipo: booleano

Descrição:
quando definido como true, se o conector chamar um comando em sua instância do MongoDB que está obsoleto na versão declarada da API estável, ele gera uma exceção.

Você pode definir a versão da API com a opção de configuração server.api.version. Para obter mais informações sobre a API estável, consulte a entrada manual do MongoDB na API estável.

Padrão: false
Valores aceitos: true ou false

server.api.strict

Tipo: boolean

Descrição:
Quando definido como true, se o conector chamar um comando em sua instância do MongoDB que não esteja coberto pela versão declarada da API estável, ele emitirá uma exceção.

Você pode definir a versão da API com a opção de configuração server.api.version. Para obter mais informações sobre a API estável, consulte a entrada manual do MongoDB na API estável.

Padrão: false
Valores aceitos: true ou false

topic.prefix

Tipo: string

Descrição:
especifica a primeira parte do nome do tópico Kafka de destino na qual o conector publica eventos de fluxo de mudança. O nome do tópico de destino é composto topic.prefix pelo valor seguido pelos nomes do banco de dados e da coleção, separados pelo valor especificado na topic.separator propriedade .

Para saber mais, consulte o exemplo em Prefixo de nomenclatura de tópicos.

Padrão: ""
Valores aceitos: uma string composta de caracteres alfanuméricos ASCII, incluindo ".", "-" e "_"

topic.suffix

Tipo: string

Descrição:
especifica a última parte do nome do tópico Kafka de destino para o qual o conector publica eventos de fluxo de alteração. O nome do tópico de destino é composto dos nomes do banco de dados e da coleção seguidos pelo topic.suffix valor, separado pelo valor especificado na topic.separator propriedade.

Para saber mais, consulte o exemplo em Sufixo de nomenclatura de tópicos.

Padrão: ""
Valores aceitos: uma string composta de caracteres alfanuméricos ASCII, incluindo ".", "-" e "_"

topic.namespace.map

Tipo: string

Descrição:
especifica um mapeamento JSON entre namespaces de documento de change stream e nomes de tópicos.

Você pode utilizar a propriedade topic.namespace.map para especificar mapeamentos complexos. Essa propriedade oferece suporte à correspondência de caracteres regulares e curingas.

Para saber mais sobre esses comportamentos e ver exemplos, consulte Mapa de namespace de tópicos.

Padrão: ""
Valores aceitos: um objeto JSON válido

topic.separator

Tipo: string

Descrição:
especifica a string que o conector utiliza para concatenar os valores utilizados para criar o nome do seu tópico. O conector publica registros em um tópico com um nome formado pela concatenação dos valores dos seguintes campos na seguinte ordem:

1. topic.prefix

2. database

3. collection

4. topic.suffix

Por exemplo, a seguinte configuração instrui o conector a publicar documentos de fluxo de alterações da coleção coll do banco de dados db para o tópico prefix-db-coll:

topic.prefix=prefix
database=db
collection=coll
topic.separator=-

IMPORTANTE: quando você usar a propriedadetopic.separator , observe que ela não afeta a forma como você define a propriedadetopic.namespace.map . A propriedade topic.namespace.map utiliza namespace MongoDB que você deve sempre especificar com um caractere . para separar o nome do banco de dados e da coleção.

Padrão: "."
Valores aceitos: uma string

topic.mapper

Tipo: string

Descrição:
a classe Java que define sua lógica de mapeamento de tópico personalizada.

Padrão: com.mongodb.kafka.connect.source.topic.mapping.DefaultTopicMapper
Valores aceitos: nome de classe completa válido de uma implementação da classe TopicMapper.

gasoduto

Tipo: string

Descrição:
Uma array de pipelines de agregação para execução em seu fluxo de mudança. Você deve definir essa configuração para o documento do evento de fluxo de alterações, não para o fullDocument campo.

Por exemplo:

[{"$match": { "$and": [{"operationType": "insert"}, {"fullDocument.eventId": 1404 }] } }]

Para mais exemplos, consulte:

• Personalize um pipeline para filtrar eventos de mudança

• Ouça mudanças em múltiplas fontes

"[]"
Padrão:Valores aceitos: estágio de pipeline de agregação válido

change.stream.full.document

Tipo: string

Descrição:
Determina quais valores seu change stream retorna nas operações de atualização.

A configuração padrão retorna as diferenças entre o documento original e o documento atualizado.

A configuração updateLookup retorna as diferenças entre o documento original e o documento atualizado, bem como uma cópia de todo o documento atualizado em um ponto no tempo após a atualização.

A configuração whenAvailable retorna o documento atualizado, se disponível.

A configuração required retorna o documento atualizado e gera um erro se ele não estiver disponível.

Para obter mais informações sobre como essa opção de fluxo de alterações funciona, consulte Pesquisar documento completo para atualizar operações no manual do MongoDB .

Padrão: ""
Valores aceitos: "", "updateLookup", "whenAvailable" ou "required"

change.stream.show.expanded.events

Tipo: boolean

Descrição:
determina se os change streams notificam para eventos DDL, como eventos
createIndexes e

dropIndexes. Para saber mais, consulte showExpandedEvents.

Essa configuração é necessária para mostrar
updateDescription.disambiguatedPaths em eventos de atualização, o que
clarifica as alterações que envolvem campos ambíguos. Para saber mais,
consulte desambiguatedPaths.

Padrão: false
Valores aceitos: true ou false

change.stream.full.document.before.change

Tipo: string

Descrição:
configura a pré-imagem do documento que seu fluxo de alterações retorna nas operações de atualização. A pré-imagem não está disponível para registros de origem publicados durante a cópia de dados existentes, e a configuração da pré-imagem não tem efeito sobre a cópia.

Para saber como configurar uma coleção para ativar pré-imagens, consulte Alterar fluxos com pré e pós-imagens de documentos no manual MongoDB .

A configuração padrão suprime a pré-imagem

do documento . A configuração whenAvailable retorna a pré-imagem do documento se ela estiver disponível, antes de ser substituída, atualizada ou excluída.

A configuração required retorna a pré-imagem do documento e gera um erro se ela não estiver disponível.

Padrão: ""
Valores aceitos: "" ou "whenAvailable" ou "required"

publish.full.document.only

Tipo: booleano

Descrição:
Se deve retornar somente o campo fullDocument do documento de evento do fluxo de alterações produzido por qualquer evento de atualização. O campo fullDocument contém a versão mais atual do documento atualizado. Para saber mais sobre o campofullDocument consulte o Evento update no manual do Servidor.

Quando definido como true, o conector substitui a configuração change.stream.full.document e a define como updateLookup para que o campo fullDocument contenha documentos atualizados.

Padrão: false
Valores aceitos: true ou false

publish.full.document.only.tombstone.on.delete

Tipo: booleano

Descrição:
Se os eventos da lápide devem ser retornados quando os documentos são excluídos. Os eventos Tombstone contêm as chaves dos documentos excluídos com null valores. Essa configuração se aplica somente publish.full.document.only quando true é.

Padrão: false
Valores aceitos: true ou false

change.stream.document.key.as.key

Tipo: booleano

descrição:
Indica se o sistema deve usar a chave do documento para a chave do registro de origem se a chave do documento estiver presente.

Quando definido como true, o conector adiciona chaves dos documentos excluídos aos eventos de marca para exclusão. Quando definido como false, o conector usa o token de continuação como chave de origem para os eventos de marca para exclusão.

Padrão: true
Valores aceitos: true ou false

agrupamento

Tipo: string

Descrição:
um documento de agrupamento JSON que especifica as regras de ordenação específicas do idioma que o MongoDB aplica aos documentos retornados pelo fluxo de alterações.

Padrão: ""
Valores aceitos: um documento JSON de agrupamento válido

batch.size

Tipo: int

Descrição:
O tamanho do lote do cursor do fluxo de alterações.

padrão: 0
Valores aceitos: um número inteiro

poll.await.time.ms

Tipo: long

Descrição:
A quantidade máxima de tempo em milissegundos que o servidor aguarda por novas alterações de dados para relatar ao cursor do fluxo de alterações antes de retornar um lote vazio.

padrão: 5000
Valores aceitos: um número inteiro

poll.max.batch.size

Tipo: int

descrição:
Número máximo de documentos a serem lidos em um único lote ao pesquisar um cursor de fluxo de alteração para novos dados. Você pode usar essa configuração para limitar a quantidade de dados armazenados internamente no conector.

padrão: 1000
Valores aceitos: um número inteiro

output.format.key

Tipo: string

Descrição:
especifica qual formato de dados o conector de origem produz o documento de chave.

Padrão: json
Valores bsonaceitos:,, jsonschema

output.format.value

Tipo: string

Descrição:
especifica em qual formato de dados o conector de origem gera o documento de valor.

O conector é compatível com Protobuf como um formato de dados de saída. Você pode habilitar este formato especificando o valor do schema e instalando e configurando o Conversor de Protobuf do Kafka Connect.

Padrão: json
Valores aceitos: bson, json, schema

output.json.formatter

Tipo: string

Descrição:
nome de classe do formatador JSON que o conector deve usar para produzir dados.

Padrão:

com.mongodb.kafka.connect.source.json.formatter.DefaultJson

Valores aceitos:
Seu nome de classe completo do formatador JSON personalizado ou um dos seguintes nomes de classe do formatador integrado:

com.mongodb.kafka.connect.source.json.formatter.DefaultJson
com.mongodb.kafka.connect.source.json.formatter.ExtendedJson
com.mongodb.kafka.connect.source.json.formatter.SimplifiedJson

Para saber mais sobre esses formatos de saída, consulte Formatadores JSON.

output.schema.key

Tipo: string

Descrição:
especifica uma definição de esquema

Avro para o documento de chave do SourceRecord. Para saber mais sobre o esquema Avro, consulte Avro no guia Formatos de Dados.

Padrão:

{
  "type": "record",
  "name": "keySchema",
  "fields" : [ { "name": "_id", "type": "string" } ]"
}

Valores aceitos: um esquema AVRO válido

output.schema.value

Tipo: string

Descrição:
especifica uma definição de esquema

Avro para o documento de valor do SourceRecord. Para saber mais sobre o esquema Avro, consulte Avro no guia Formatos de Dados.

Padrão:

{
  "name": "ChangeStream",
  "type": "record",
  "fields": [
    { "name": "_id", "type": "string" },
    { "name": "operationType", "type": ["string", "null"] },
    { "name": "fullDocument", "type": ["string", "null"] },
    { "name": "ns",
      "type": [{"name": "ns", "type": "record", "fields": [
                {"name": "db", "type": "string"},
                {"name": "coll", "type": ["string", "null"] } ]
               }, "null" ] },
    { "name": "to",
      "type": [{"name": "to", "type": "record",  "fields": [
                {"name": "db", "type": "string"},
                {"name": "coll", "type": ["string", "null"] } ]
               }, "null" ] },
    { "name": "documentKey", "type": ["string", "null"] },
    { "name": "updateDescription",
      "type": [{"name": "updateDescription",  "type": "record", "fields": [
                 {"name": "updatedFields", "type": ["string", "null"]},
                 {"name": "removedFields",
                  "type": [{"type": "array", "items": "string"}, "null"]
                  }] }, "null"] },
    { "name": "clusterTime", "type": ["string", "null"] },
    { "name": "txnNumber", "type": ["long", "null"]},
    { "name": "lsid", "type": [{"name": "lsid", "type": "record",
               "fields": [ {"name": "id", "type": "string"},
                             {"name": "uid", "type": "string"}] }, "null"] }
  ]
}

Valores aceitos: um JSON schema válido

output.schema.infer.value

Tipo: booleano

Descrição:
Se o conector deve inferir o esquema para o documento de valor do SourceRecord. Como o conector processa cada documento isoladamente, o conector pode gerar muitos esquemas.

IMPORTANTE: o conector só lê essa configuração quando você define a configuração output.format.value como schema.

Padrão: false
Valores aceitos: true ou false

startup.mode

Tipo: string

Descrição:
Especifica como o conector deve ser iniciado quando não houver deslocamento de origem disponível. A retomada de um fluxo de alterações requer um token de retomada, que o conector obtém do deslocamento de origem. Se nenhuma compensação de origem estiver disponível, o conector poderá ignorar todos ou alguns dos dados de origem existentes ou poderá, em um primeiro momento, copiar todos os dados de origem existentes e, em seguida, continuar em processamento de novos dados.

Se startup.mode=latest, o conector ignorará todos os dados de origem existentes.

Se startup.mode=timestamp, o conector aciona propriedades startup.mode.timestamp.*. Se nenhuma propriedade for configurada, timestamp é equivalente a latest.

Se startup.mode=copy_existing, o conector copia todos os dados de origem existentes para eventos do Change Stream. Esta configuração é equivalente à configuração preterida copy.existing=true.

Se algum sistema alterar os dados no banco de dados enquanto o conector de origem converte os dados existentes dele, o MongoDB poderá produzir eventos de fluxo de mudança duplicados para refletir as alterações mais recentes. Como os eventos de fluxo de alterações nos quais a cópia de dados depende são idempotentes, os dados copiados são eventualmente consistentes, em conformidade com uma garantia de entrega "pelo menos uma vez".

Padrão:latest
Valores latestaceitos:,, timestampcopy_existing

startup.mode.timestamp.start.at.operation.time

Tipo: string






Descrição:
Acionado somente se startup.mode=timestamp. Especifica o ponto de partida para o fluxo de alteração. Para saber mais sobre como alterar os parâmetros do stream, consulte $changeStream (agregação) no manual do MongoDB . Padrão: "" Valores aceitos:

• Um número inteiro de segundos desde a época no formato decimal (por exemplo, 30)

• Um instante no formato ISO-8601 com uma segunda precisão (por exemplo, 1970-01-01T00:00:30Z)

• Um carimbo de data/hora JSON no formato JSON estendido canônico (v2) (por exemplo, {"$timestamp": {"t": 30, "i": 0}})

startup.mode.copy.existing.namespace.regex

Tipo: string

Descrição:
Expressão regular que o conector usa para corresponder aos namespaces dos quais copiar dados. Um namespace descreve o nome do banco de dados MongoDB e a coleção separados por um período (por exemplo, databaseName.collectionName).

Por exemplo, a seguinte configuração de expressão regular corresponde às coleções que começam com "page" no banco de dados stats:

startup.mode.copy.existing.namespace.regex=stats\.page.*

O caractere \ no exemplo acima escapa do caractere . que o segue na expressão regular. Para obter mais informações sobre como criar expressões regulares, consulte Padrões na documentação da API Java .

Padrão: ""
Valores aceitos: uma expressão regular válida

startup.mode.copy.existing.pipeline

Tipo: string

Descrição:
uma array em linha de operações de pipeline que o conector executa ao copiar dados existentes. Você pode usar essa configuração para filtrar a collection de origem e melhorar o uso de índices no processo de cópia.

Por exemplo, a configuração a seguir usa o operador de agregação $match para instruir o conector a copiar somente documentos que contenham um campo closed com um valor de false.

startup.mode.copy.existing.pipeline=[ { "$match": { "closed": "false" } } ]

Padrão: ""
Valores aceitos: fases do pipeline de agregação válidas

startup.mode.copy.existing.max.threads

Tipo: int

Descrição:
O número máximo de threads que o conector pode usar para copiar dados.

Padrão: número de processadores disponíveis no ambiente
Valores aceitos: um número inteiro

startup.mode.copy.existing.queue.size

Tipo: int

Descrição:
O tamanho da fila que o conector pode usar ao copiar dados.

Padrão: 16000
Valores aceitos: um número inteiro

startup.mode.copy.existing.allow.disk.use

Tipo: booleano

descrição:
Quando definido como true, o conector usa armazenamento temporário em disco para a agregação de cópia existente.

padrão: true
Valores aceitos: true ou false

mongo.errors.tolerance

Tipo: string

Descrição:
se deve continuar processando mensagens quando o conector encontrar um erro.

Defina isso como "none" se quiser que o conector pare de processar mensagens e relate o problema se encontrar um erro.

Defina isso como "all" se quiser que o conector continue processando mensagens e ignore os erros encontrados.

IMPORTANTE: esta propriedade substitui a propriedade errors.tolerance Connect Framework .

Padrão: "none"
Valores aceitos: "none" ou "all"

mongo.errors.log.enable

Tipo: booleano

Descrição:
se o conector deve relatar erros no arquivo de log.

Defina isso como true para registrar todos os erros encontrados

pelo conector. Configure isto para false para registrar erros que não são tolerados pelo conector. Você pode especificar quais erros o conector deve tolerar usando a configuração errors.tolerance ou mongo.errors.tolerance.

IMPORTANTE: esta propriedade substitui a propriedade errors.log.enable Connect Framework .

Padrão: false
Valores aceitos: true ou false

mongo.errors.deadletterqueue.topic.name

Tipo: string

Descrição:
o nome do tópico a ser usado como fila de

mensagens não entregues (DLQ). Se você especificar um valor, o conector gravará mensagens inválidas no tópico da fila de mensagens não entregues (DLQ) como strings JSON estendidas.

Se você deixar essa configuração em branco, o conector não gravará mensagens inválidas em nenhum tópico.

IMPORTANTE: Você deve definir errors.tolerance ou mongo.errors.tolerance como "all" para habilitar esta propriedade.

Padrão: ""
Valores aceitos: um nome de tópico Kafka válido

offset.partition.name

Tipo: string

Descrição:
o nome da partição offset personalizada a ser usada. Você pode usar essa opção para instruir o conector a iniciar um novo fluxo de alterações quando um deslocamento existente contiver um token de currículo inválido.

Se você deixar essa configuração em branco, o conector usará o nome da partição padrão com base nos detalhes da conexão.

Para exibir uma estratégia para nomear partições de deslocamento, consulte Redefinir deslocamentos armazenados.

Padrão: ""
Valores aceitos: uma string. Para saber mais sobre como nomear uma partição, consulte SourceRecord na documentação da API do Apache Kafka.

heartbeat.interval.ms

Tipo: longo

Descrição:
o número de milissegundos que o conector espera entre o envio de mensagens de pulsação. O conector envia mensagens de pulsação quando os registros de origem não são publicados no intervalo especificado. Este mecanismo melhora a capacidade de retomada do conector para namespaces de baixo volume. As

mensagens de pulsação contêm um postBatchResumeToken campo de dados. O valor deste campo contém a entrada de oplog do servidor MongoDB que o conector leu pela última vez a partir do fluxo de alteração.

Defina isso como 0 para desabilitar mensagens de pulsação.

Para saber mais, consulte Prevenção na página Token de retomada inválido.

Padrão: 0
Valores aceitos: um número inteiro

heartbeat.topic.name

Tipo: string

Descrição:
o nome do tópico no qual o conector deve publicar mensagens de pulsação. Você deve fornecer um valor positivo na configuração heartbeat.interval.ms para ativar esse recurso.

Padrão: __mongodb_heartbeats
Valores aceitos: um nome de tópico Kafka válido