Todas as propriedades de configuração do conector de origem

connection.uri

Obrigatório

Tipo: string

Descrição:
a string de conexão do URI para se conectar à sua instância ou cluster do MongoDB .

Para saber mais, consulte Conectar ao MongoDB.

IMPORTANTE: para evitar expor suas credenciais de autenticação na sua configuração do connection.uri, utilize um ConfigProvider e defina os parâmetros de configuração apropriados.

mongodb://localhost:27017,localhost:27018,localhost:27019
Padrão:Valores aceitos: uma string de conexão de URI MongoDB

database

Tipo: string

Descrição:
Nome do banco de dados para observar as alterações. Se não estiver definido, o conector observará todos os bancos de dados para alterações.

Padrão: ""
Valores aceitos: um único nome de banco de dados

collection

Tipo: string

Descrição:
Nome da coleção no banco de dados para acompanhar as alterações. Se não estiver definido, o conector observará todas as coleções para alterações.

IMPORTANTE: se a database configuração do estiver definida "" para, o conector ignorará a configuração collection do.

""
Padrão:Valores aceitos: um único nome de coleção

server.api.version

Tipo: string

Descrição:
A versão da Stable API que você deseja usar com o cluster MongoDB . Para obter mais informações sobre a API estável e as versões do servidor MongoDB que a suportam, consulte o guia da API estável . Padrão:

Valores ""
aceitos: uma string vazia ou uma versão válida da API estável.

server.api.deprecationErrors

Tipo: booleano

Descrição:
quando definido true como, se o conector chamar um comando em sua instância do MongoDB que está obsoleto na versão declarada da API estável, ele gera uma exceção.

Você pode definir a versão da API com a server.api.version opção de configuração do. Para obter mais informações sobre a API estável, consulte a entrada manual do MongoDB na API estável.

Padrão: false
Valores aceitos: true ou false

server.api.strict

Tipo: boolean

Descrição:
Quando definido true como, se o conector chamar um comando em sua instância do MongoDB que não esteja coberto pela versão declarada da API estável, ele emitirá uma exceção.

Você pode definir a versão da API com a server.api.version opção de configuração do. Para obter mais informações sobre a API estável, consulte a entrada manual do MongoDB na API estável.

Padrão: false
Valores aceitos: true ou false

topic.prefix

Tipo: string

Descrição:
especifica a primeira parte do nome do tópico Kafka de destino na qual o conector publica eventos de fluxo de mudança. O nome do tópico de destino é composto topic.prefix pelo valor seguido pelos nomes do banco de dados e da coleção, separados pelo valor especificado na topic.separator propriedade .

Para saber mais, consulte o exemplo em Prefixo de nomenclatura de tópicos.

Padrão: ""
Valores aceitos: uma string composta de caracteres alfanuméricos ASCII, incluindo ".", "-" e "_"

topic.suffix

Tipo: string

Descrição:
especifica a última parte do nome do tópico Kafka de destino para o qual o conector publica eventos de fluxo de alteração. O nome do tópico de destino é composto dos nomes do banco de dados e da coleção seguidos pelo topic.suffix valor, separado pelo valor especificado na topic.separator propriedade.

Para saber mais, consulte o exemplo em Sufixo de nomenclatura de tópicos.

Padrão: ""
Valores aceitos: uma string composta de caracteres alfanuméricos ASCII, incluindo ".", "-" e "_"

topic.namespace.map

Tipo: string

Descrição:
especifica um mapeamento JSON entre namespaces de documento de change stream e nomes de tópicos.

Você pode utilizar a topic.namespace.map propriedade para especificar mapeamentos complexos. Essa propriedade oferece suporte à correspondência de caracteres regulares e curingas.

Para saber mais sobre esses comportamentos e ver exemplos, consulte Mapa de namespace de tópicos.

Padrão: ""
Valores aceitos: um objeto JSON válido

topic.separator

Tipo: string

Descrição:
especifica a string que o conector utiliza para concatenar os valores utilizados para criar o nome do seu tópico. O conector publica registros em um tópico com um nome formado pela concatenação dos valores dos seguintes campos na seguinte ordem:

1. topic.prefix

2. database

3. collection

4. topic.suffix

Por exemplo, a seguinte configuração instrui o conector a publicar a alteração de documentos de fluxo da coleção coll do banco de dados db para o tópico prefix-db-coll:

topic.prefix=prefix
database=db
collection=coll
topic.separator=-

IMPORTANTE: quando você usar a topic.separator propriedade , observe que ela não afeta como você define a topic.namespace.map propriedade . A topic.namespace.map propriedade utiliza namespace MongoDB que você deve sempre especificar com um . caractere para separar o nome do banco de dados e da coleção.

Padrão: "."
Valores aceitos: uma string

topic.mapper

Tipo: string

Descrição:
a classe Java que define sua lógica de mapeamento de tópico personalizada.

Padrão: com.mongodb.kafka.connect.source.topic.mapping.DefaultTopicMapper
Valores aceitos: nome de classe completa válido de uma implementação da classe TopicMapper.

gasoduto

Tipo: string

Descrição:
Uma array de pipelines de agregação para execução em seu fluxo de mudança. Você deve definir essa configuração para o documento do evento de fluxo de alterações, não para o fullDocument campo.

Por exemplo:

[{"$match": { "$and": [{"operationType": "insert"}, {"fullDocument.eventId": 1404 }] } }]

Para mais exemplos, consulte:

• Personalize um pipeline para filtrar eventos de mudança
• Ouça mudanças em múltiplas fontes

"[]"
Padrão:Valores aceitos: estágio de pipeline de agregação válido

change.stream.full.document

Tipo: string

Descrição:
Determina



quais updateLookup valores

seu change stream whenAvailable retorna nas operações de atualização. A

configuração padrão retorna as diferenças entre o documento original e o documento atualizado. A configuração retorna as diferenças entre o documento original e o documento atualizado, bem como uma cópia de todo o documento atualizado em um ponto no tempo após a atualização. A configuração retorna o documento atualizado, se disponível. A required configuração retorna o documento atualizado e levanta um erro se ele não estiver disponível.

Para obter mais informações sobre como essa opção de fluxo de alterações funciona, consulte Pesquisar documento completo para atualizar operações no manual do MongoDB .

Padrão: ""
Valores ""aceitos:,, "updateLookup" "whenAvailable"ou "required"

change.stream.show.expanded.events

Tipo: boolean

Descrição:
determina se os change streams notificam para eventos DDL, como eventos
createIndexes e

dropIndexes. Para saber mais, consulte showExpandedEvents.

Essa configuração é necessária para mostrar
updateDescription.disambiguatedPaths em eventos de atualização, o que
clarifica as alterações que envolvem campos ambíguos. Para saber mais,
consulte desambiguatedPaths.

Padrão: false
Valores aceitos: true ou false

change.stream.full.document.before.change

Tipo: string

Descrição:
configura a pré-imagem do documento que seu fluxo de alterações retorna nas operações de atualização. A pré-imagem não está disponível para registros de origem publicados durante a cópia de dados existentes, e a configuração da pré-imagem não tem efeito sobre a cópia.

Para saber como configurar uma coleção para ativar pré-imagens, consulte Alterar fluxos com pré e pós-imagens de documentos no manual MongoDB .

A configuração padrão suprime a pré-imagem do documento .

A configuração whenAvailable retorna a pré-imagem do documento se ela estiver disponível, antes de ser substituída, atualizada ou excluída.

A required configuração retorna a pré-imagem do documento e gera um erro se ela não estiver disponível.

Padrão: ""
Valores aceitos: "" ou "whenAvailable" ou "required"

publish.full.document.only

Tipo: booleano

Descrição:
Se deve retornar somente o fullDocument campo do documento de evento do fluxo de alterações produzido por qualquer evento de atualização. O fullDocument campo contém a versão mais atual do documento atualizado. Para saber mais sobre o fullDocument campo consulte o Evento update no manual do Servidor.

Quando definido true como, o conector substitui a change.stream.full.document configuração e a define como updateLookup para que o fullDocument campo contenha documentos atualizados.

Padrão: false
Valores aceitos: true ou false

publish.full.document.only.tombstone.on.delete

Tipo: booleano

Descrição:
Se os eventos da lápide devem ser retornados quando os documentos são excluídos. Os eventos Tombstone contêm as chaves dos documentos excluídos com null valores. Essa configuração se aplica somente publish.full.document.only quando true é.

Padrão: false
Valores aceitos: true ou false

change.stream.document.key.as.key

Tipo: booleano

Descrição:
Se a chave do documento deve ser usada para a chave do registro de origem se a chave do documento estiver presente.

Quando definido true como, o conector adiciona chaves dos documentos excluídos aos eventos de marca para exclusão. Quando definido false como, o conector usa o token de continuação como chave de origem para os eventos de marca para exclusão.

Padrão: true
Valores aceitos: true ou false

agrupamento

Tipo: string

Descrição:
um documento de agrupamento JSON que especifica as regras de ordenação específicas do idioma que o MongoDB aplica aos documentos retornados pelo fluxo de alterações.

Padrão: ""
Valores aceitos: um documento JSON de agrupamento válido

batch.size

Tipo: int

Descrição:
O tamanho do lote do cursor do change stream.

Padrão: 0
Valores aceitos: um número inteiro

poll.await.time.ms

Tipo: longo

Descrição:
a quantidade máxima de tempo em milissegundos que o servidor aguarda novas alterações de dados para relatar ao cursor do fluxo de alterações antes de retornar um lote vazio.

5000
Padrão:Valores aceitos: um número inteiro

poll.max.batch.size

Tipo: int

Descrição:
número máximo de documentos a serem lidos em um único lote ao pesquisar um cursor de fluxo de alteração para novos dados. Você pode usar essa configuração para limitar a quantidade de dados armazenados em buffer internamente no conector.

Padrão: 1000
Valores aceitos: um número inteiro

output.format.key

Tipo: string

Descrição:
especifica qual formato de dados o conector de origem produz o documento de chave.

Padrão: json
Valores bsonaceitos:,, jsonschema

output.format.value

Tipo: string

Descrição:
especifica em qual formato de dados o conector de origem gera o documento de valor.

O conector é compatível com Protobuf como um formato de dados de saída. Você pode habilitar este formato especificando o schema valor do e instalando e configurando o Conversor de Protobuf do Kafka Connect.

Padrão: json
Valores aceitos:,, bsonjsonschema

output.json.formatter

Tipo: string

Descrição:
nome de classe do formatador JSON que o conector deve usar para produzir dados.

Padrão:

com.mongodb.kafka.connect.source.json.formatter.DefaultJson

Valores aceitos:
seu nome de classe completo do formatador JSON personalizado ou um dos seguintes nomes de classe do formatador integrado:

com.mongodb.kafka.connect.source.json.formatter.DefaultJson
com.mongodb.kafka.connect.source.json.formatter.ExtendedJson
com.mongodb.kafka.connect.source.json.formatter.SimplifiedJson

Para saber mais sobre esses formatos de saída, consulte Formatadores JSON.

output.schema.key

Tipo: string

Descrição:
especifica uma definição de esquema

Avro para o documento de chave do SourceRecord. Para saber mais sobre o esquema Avro, consulte Avro no guia Formatos de Dados.

Padrão:

{
  "type": "record",
  "name": "keySchema",
  "fields" : [ { "name": "_id", "type": "string" } ]"
}

Valores aceitos: um esquema Avro válido

output.schema.value

Tipo: string

Descrição:
especifica uma definição de esquema

Avro para o documento de valor do SourceRecord. Para saber mais sobre o esquema Avro, consulte Avro no guia Formatos de Dados.

Padrão:

{
  "name": "ChangeStream",
  "type": "record",
  "fields": [
    { "name": "_id", "type": "string" },
    { "name": "operationType", "type": ["string", "null"] },
    { "name": "fullDocument", "type": ["string", "null"] },
    { "name": "ns",
      "type": [{"name": "ns", "type": "record", "fields": [
                {"name": "db", "type": "string"},
                {"name": "coll", "type": ["string", "null"] } ]
               }, "null" ] },
    { "name": "to",
      "type": [{"name": "to", "type": "record",  "fields": [
                {"name": "db", "type": "string"},
                {"name": "coll", "type": ["string", "null"] } ]
               }, "null" ] },
    { "name": "documentKey", "type": ["string", "null"] },
    { "name": "updateDescription",
      "type": [{"name": "updateDescription",  "type": "record", "fields": [
                 {"name": "updatedFields", "type": ["string", "null"]},
                 {"name": "removedFields",
                  "type": [{"type": "array", "items": "string"}, "null"]
                  }] }, "null"] },
    { "name": "clusterTime", "type": ["string", "null"] },
    { "name": "txnNumber", "type": ["long", "null"]},
    { "name": "lsid", "type": [{"name": "lsid", "type": "record",
               "fields": [ {"name": "id", "type": "string"},
                             {"name": "uid", "type": "string"}] }, "null"] }
  ]
}

Valores aceitos: um JSON schema válido

output.schema.infer.value

Tipo: booleano

Descrição:
Se o conector deve inferir o esquema para o documento de valor do SourceRecord. Como o conector processa cada documento isoladamente, o conector pode gerar muitos esquemas.

IMPORTANTE: o conector só lê essa configuração quando você define a output.format.value configuração schema como.

Padrão: false
Valores aceitos: true ou false

startup.mode

Tipo: string

Descrição:
especifica como o conector deve ser iniciado quando não houver nenhum deslocamento de origem disponível. A retomada de um change stream requer um token de retomada, que o conector obtém do deslocamento de origem. Se nenhuma compensação de origem estiver disponível, o conector poderá ignorar todos ou alguns dos dados de origem existentes ou poderá, em um primeiro momento, copiar todos os dados de origem existentes e, em seguida, continuar com o processamento de novos dados.

startup.mode=latestSe, o conector ignorará todos os dados de origem existentes.

startup.mode=timestampSe, o conector aciona startup.mode.timestamp.* propriedades. Se nenhuma propriedade estiver configurada, timestamp será equivalente latest a.

startup.mode=copy_existingSe, o conector copia todos os dados de origem existentes para Alterar eventos de Stream. Esta configuração é equivalente à configuração copy.existing=true preterida.

Se algum sistema alterar os dados no banco de dados enquanto o conector de origem converte os dados existentes dele, o MongoDB poderá produzir eventos de fluxo de mudança duplicados para refletir as alterações mais recentes. Como os eventos de fluxo de alterações nos quais a cópia de dados depende são idempotentes, os dados copiados são eventualmente consistentes, em conformidade com uma garantia de entrega "pelo menos uma vez".

Padrão:latest
Valores latestaceitos:,, timestampcopy_existing

startup.mode.timestamp.start.at.operation.time

Tipo: string


startup.mode=timestamp



Descrição: ""
Acionado somente se. Especifica o ponto de partida para o fluxo de alteração. Para saber mais sobre como alterar os parâmetros do stream, consulte $changeStream (agregação) no manual do MongoDB . Padrão: Valores aceitos:

• Um número inteiro de segundos desde a época no formato decimal (por exemplo, 30)

• Um instante no formato ISO-8601 com uma segunda precisão (por exemplo, 1970-01-01T00:00:30Z)

• Um carimbo de data/hora JSON no formato JSON estendido canônico (v2) (por exemplo, {"$timestamp": {"t": 30, "i": 0}})

startup.mode.copy.existing.namespace.regex

Tipo: string

Descrição:
expressão regular que o conector usa para corresponder aos namespaces dos quais copiar dados. Um namespace descreve o nome do banco de dados MongoDB e a coleção separados por um período (pordatabaseName.collectionName exemplo,).

Por exemplo, a seguinte configuração de expressão regular corresponde às coleção que começam com "page" no stats banco de dados:

startup.mode.copy.existing.namespace.regex=stats\.page.*

O \ caractere no exemplo acima escapa do . caractere que o segue na expressão regular. Para obter mais informações sobre como criar expressões regulares, consulte Padrões na documentação da API Java .

Padrão: ""
Valores aceitos: uma expressão regular válida

startup.mode.copy.existing.pipeline

Tipo: string

Descrição:
uma array em linha de operações de pipeline que o conector executa ao copiar dados existentes. Você pode usar essa configuração para filtrar a collection de origem e melhorar o uso de índices no processo de cópia.

Por exemplo, a configuração a seguir usa o operador de agregação $match para instruir o conector a copiar somente documentos que contenham um closed campo com um valor false de.

startup.mode.copy.existing.pipeline=[ { "$match": { "closed": "false" } } ]

""
Padrão:Valores aceitos: estágios de pipeline de agregação válidos

startup.mode.copy.existing.max.threads

Tipo: int

Descrição:
O número máximo de threads que o conector pode usar para copiar dados.

Padrão: número de processadores disponíveis no ambiente
Valores aceitos: um número inteiro

startup.mode.copy.existing.queue.size

Tipo: int

Descrição:
O tamanho da fila que o conector pode usar ao copiar dados.

Padrão: 16000
Valores aceitos: um número inteiro

startup.mode.copy.existing.allow.disk.use

Tipo: booleano

Descrição:
quando definido true como, o conector usa armazenamento em disco temporário para copiar a agregação existente.

Padrão: true
Valores aceitos: true ou false

mongo.errors.tolerance

Tipo: string

Descrição:
se deve continuar processando mensagens quando o conector encontrar um erro.

Defina isso como "none" se quiser que o conector pare de processar mensagens e relate o problema se encontrar um erro.

Defina isso "all" como se quiser que o conector continue processando mensagens e ignore os erros encontrados.

IMPORTANTE: esta propriedade substitui a propriedade errors.tolerance Connect Framework .

Padrão: "none"
Valores aceitos: "none" ou "all"

mongo.errors.log.enable

Tipo: booleano

Descrição:
se o conector deve relatar erros no arquivo de log.

Defina isso como true para registrar todos os erros encontrados pelo conector.

Configure isto para false para registrar erros que não são tolerados pelo conector. Você pode especificar quais erros o conector deve tolerar usando a configuração errors.tolerance mongo.errors.tolerance ou.

IMPORTANTE: esta propriedade substitui a propriedade errors.log.enable Connect Framework .

Padrão: false
Valores aceitos: true ou false

mongo.errors.deadletterqueue.topic.name

Tipo: string

Descrição:
o nome do tópico a ser usado como fila de

mensagens não entregues (DLQ). Se você especificar um valor, o conector gravará mensagens inválidas no tópico da fila de mensagens não entregues (DLQ) como strings JSON estendidas.

Se você deixar essa configuração em branco, o conector não gravará mensagens inválidas em nenhum tópico.

IMPORTANTE: você deve definir errors.tolerance mongo.errors.tolerance "all" a configuração ou como para habilitar essa propriedade.

Padrão: ""
Valores aceitos: um nome de tópico Kafka válido

offset.partition.name

Tipo: string

Descrição:
o nome da partição offset personalizada a ser usada. Você pode usar essa opção para instruir o conector a iniciar um novo fluxo de alterações quando um deslocamento existente contiver um token de currículo inválido.

Se você deixar essa configuração em branco, o conector usará o nome da partição padrão com base nos detalhes da conexão.

Para exibir uma estratégia para nomear partições de deslocamento, consulte Redefinir deslocamentos armazenados.

Padrão: ""
Valores aceitos: uma string. Para saber mais sobre como nomear uma partição, consulte SourceRecord na documentação da API do Apache Kafka.

heartbeat.interval.ms

Tipo: longo

Descrição:
o número de milissegundos que o conector espera entre o envio de mensagens de pulsação. O conector envia mensagens de pulsação quando os registros de origem não são publicados no intervalo especificado. Este mecanismo melhora a capacidade de retomada do conector para namespaces de baixo volume. As

mensagens de pulsação contêm um postBatchResumeToken campo de dados. O valor deste campo contém a entrada de oplog do servidor MongoDB que o conector leu pela última vez a partir do fluxo de alteração.

Defina isso como 0 para desabilitar mensagens de pulsação.

Para saber mais, consulte Prevenção na página Token de retomada inválido.

Padrão: 0
Valores aceitos: um número inteiro

heartbeat.topic.name

Tipo: string

Descrição:
o nome do tópico no qual o conector deve publicar mensagens de pulsação. Você deve fornecer um valor positivo na configuração heartbeat.interval.ms para ativar esse recurso.

Padrão: __mongodb_heartbeats
Valores aceitos: um nome de tópico Kafka válido