Para agentes de IA: um índice de documentação está disponível em https://www.mongodb.com/pt-br/docs/llms.txt — as versões de markdown de todas as páginas estão disponíveis anexando .md a qualquer caminho de URL.
Todas as propriedades de configuração do conector coletor
Visão geral
Nesta página, você pode visualizar todas as propriedade de configuração disponíveis para o connector de sink do MongoDB Kafka. Esta página duplica o conteúdo das outras páginas de propriedade de configuração do connector de pia.
Para exibir uma lista de todas as páginas de propriedade de configuração do connector de coletor, consulte a página de propriedade de configuração do connector de coletor.
Conexão do MongoDB
Use as seguintes definições de configuração para especificar como o de MongoDB Kafka coletor do connector se conecta e se comunica com o MongoDB cluster.
Descrição: a string URI de conexão do MongoDB para se conectar à sua instância ou cluster do MongoDB . Para obter mais informações, consulte o guia Conectar ao MongoDB
IMPORTANTE: para evitar expor suas credenciais de autenticação na sua configuração do connection.uri, utilize um ConfigProvider e defina os parâmetros de configuração apropriados.
mongodb://localhost:27017 Padrão:Valores aceitos: uma string de URI de conexão do MongoDB
server.api.version
Tipo: string
Descrição: A versão da Stable API que você deseja usar com seu servidor MongoDB. Para obter mais informações sobre a Stable API e as versões do servidor que a suportam, consulte o guia do manual do servidor MongoDB Stable API.
Padrão: "" Valores aceitos: uma string vazia ou uma versão válida da Stable API.
server.api.deprecationErrors
Tipo: booleano
Descrição: quando definido true como, se o conector chamar um comando em sua instância do MongoDB que está obsoleto na versão declarada da API estável, ele gera uma exceção.
Você pode definir a versão da API com a server.api.version opção de configuração do. Para obter mais informações sobre a API estável, consulte a entrada manual do MongoDB na API estável.
Padrão: false Valores aceitos: true ou false
server.api.strict
Tipo: boolean
Descrição: Quando definido true como, se o conector chamar um comando em sua instância do MongoDB que não esteja coberto pela versão declarada da API estável, ele emitirá uma exceção.
Você pode definir a versão da API com a server.api.version opção de configuração do. Para obter mais informações sobre a API estável, consulte a entrada manual do MongoDB na API estável.
Padrão: false Valores aceitos: true ou false
Namespace MongoDB
Use as seguintes definições de configuração para especificar em qual MongoDB database e collection o connector de sink do MongoDB Kafka grava os dados. Você pode utilizar o DefaultNamespaceMapper padrão ou especificar uma classe personalizada.
Descrição: o nome da classe totalmente qualificado da classe que especifica em qual banco de dados ou collection coletar os dados. O padrão DefaultNamespaceMapper utiliza valores especificados nas databasecollection propriedades e.
Valores aceitos: Um nome de classe Java totalmente qualificado de uma classe que implementa a interface NamespaceMapper .
database
Obrigatório
Tipo: string
Descrição: o nome do banco de dados MongoDB no qual o conector de pia grava.
Valores aceitos: um nome de banco de dados MongoDB
collection
Tipo: string
Descrição: o nome da collection MongoDB na qual o conector de pia grava. Se o conector do coletor seguir vários tópicos, esta será a coleção padrão para quaisquer gravações que não sejam especificadas de outra forma.
Padrão: o nome do tópico.
Valores aceitos : Um nome de collection do MongoDB
Configurações do FieldPathNamespaceMapper
Se você configurar o conector de pia para usar o FieldPathNamespaceMapper, poderá especificar qual banco de dados e coleção coletará um documento com base nos valores de campo dos dados.
Para habilitar esse comportamento de mapeamento, defina a propriedade de configuração do conector de pia namespace.mapper como o nome da classe totalmente qualificado, conforme mostrado abaixo:
O FieldPathNamespaceMapper exige que você especifique as seguintes configurações:
Uma ou ambas as propriedade de mapeamento para um reconhecimento de data center e collection
Um dos mapeamentos do key ou value para um banco de dados
Um dos mapeamentos key ou value para uma collection
Você pode usar as seguintes configurações para personalizar o comportamento do FieldPathNamespaceMapper:
Nome
Descrição
namespace.mapper.key.database.field
Tipo: string
Descrição: o nome do campo de documento chave que especifica o nome do banco de dados no qual escrever.
namespace.mapper.key.collection.field
Tipo: string
Descrição: o nome do campo de documento chave que especifica o nome da coleção na qual escrever.
namespace.mapper.value.database.field
Tipo: string
Descrição: o nome do campo de documento de valor que especifica o nome do banco de dados no qual escrever.
namespace.mapper.value.collection.field
Tipo: string
Descrição: o nome do campo do documento de valor que especifica o nome da collection na qual escrever.
namespace.mapper.error.if.invalid
Tipo: boolean
Descrição: Se deve lançar uma exceção quando o documento não tiver o campo mapeado ou tiver um tipo de BSON inválido.
Quando definido true como, o conector não processa documentos que não tenham o campo mapeado ou que contenham um tipo de BSON inválido. O conector pode interromper ou ignorar o processamento, dependendo das definições de configuração de tratamento de erros relacionadas.
Quando definido false como, se um documento não tiver o campo mapeado ou se tiver um tipo de BSON inválido, o conector assumirá como padrão a gravação nas configurações database e collection especificadas.
Padrão: false Valores aceitos: true ou false
Tópico do conector
Use as seguintes definições de configuração para especificar quais tópicos do Kafka o connector de pia do MongoDB Kafka deve observar os dados.
Descrição: uma lista de tópicos do Kafka que o conector de pia assiste.
Você pode definir a configuração topics ou topics.regex , mas não ambas.
Valores aceitos: uma lista separada por vírgula de tópicos válidos do Kafka
topic.regex
Obrigatório
Tipo: string
Descrição: uma expressão regular que corresponde aos tópicos do Kafka que o conector de pia assiste.
Por exemplo, o regex a seguir corresponde a nomes de tópicos como "atividade.anding.cliques" e "atividade.support.cliques". Não corresponde aos nomes do tópico " Activity.Landing.views " e "atividade.cliques".
topics.regex=activity\\.\\w+\\.clicks$
Você pode definir a configuração topics ou topics.regex , mas não ambas.
Valores aceitos: Um padrão de expressão regular válido utilizando java.util.regex.Pattern.
Processamento de mensagens do conector
Use as configurações nesta página para configurar o comportamento de processamento de mensagens do connector de pia MongoDB Kafka, incluindo o seguinte:
Descrição: número máximo de registros de coletores em lote para processamento.
Considere o lote que contém os seguintes registros:
[ 1, 2, 3, 4, 5 ]
Quando definido 0 como, o conector executa uma única gravação em massa para todo o lote.
Quando definido 1 como, o conector executa uma gravação em massa para cada registro no lote, para um total de cinco gravações em massa, conforme mostrado no exemplo a seguir:
[1], [2], [3], [4], [5]
Padrão: 0 Valores aceitos: um número inteiro
bulk.write.ordered
Tipo: booleano
Descrição: se o conector grava um lote de registros como uma operação de gravação em massa ordenada ou não ordenada. Quando definido true para, o valor padrão, o conector escreve um lote de registros como uma operação de escrita em massa ordenada.
Para saber mais sobre operações de escrita em massa, consulte Operações de escrita em massa.
Padrão: true Valores aceitos: true ou false
rate.limiting.every.n
Tipo: int
Descrição: número de lotes de registros que o conector de pia processa para acionar o tempo limite de limitação de taxa. Um valor de 0 significa que não há limitação de taxa.
0 Padrão:Valores aceitos: um número inteiro
rate.limiting.timeout
Tipo: int
Descrição: quanto tempo (em milissegundos) deve ser aguardado antes que o conector do coletor retome o processamento depois de atingir o limite de limitação de taxa.
0 Padrão:Valores aceitos: um número inteiro
tarefas.max
Tipo: int
Descrição: O número máximo de tarefas a serem criadas para este conector. O conector pode criar menos do que o máximo de tarefas especificadas se não puder lidar com o nível de paralelismo especificado.
IMPORTANTE: Se você especificar um valor maior 1 que, o conector habilitará o processamento paralelo das tarefas. Se o seu tópico tiver vários logs de partição, o que permite ao conector ler a partir do tópico em paralelo, as tarefas podem processar as mensagens fora de ordem.
Padrão: 1 Valores aceitos: um número inteiro
Tratamento de erros do conector
Use as seguintes definições de configuração para especificar como o conector do coletor do MongoDB Kafka lida com erros e para configurar a fila de letras mortas.
Descrição: Se deve continuar processando mensagens se o conector encontrar um erro. Permite que o conector substitua a errors.tolerance configuração do cluster Kafka.
Quando definido none como, o conector relata qualquer erro e bloqueia o processamento adicional do restante das mensagens.
Quando configurado all para, o conector ignora quaisquer mensagens problemáticas.
Quando definido data como, o conector tolera apenas erros de dados e falha em todos os outros erros.
Para saber mais sobre estratégias de tratamento de erros, consulte a página Gerenciar erros.
Esta propriedade substitui a propriedade errors.tolerance do Connect Framework.
Padrão: herda o valor da configuração errors.tolerance . Valores aceitos: "none" ou "all"
mongo.errors.log.enable
Tipo: booleano
Descrição: se o conector deve gravar detalhes de erros, incluindo operações com falha, no arquivo de log. O conector classifica os erros como "tolerado" ou "não tolerado" usando as errors.tolerancemongo.errors.tolerance configurações ou.
Quando definido true como, o conector registra os erros "tolerado" e "não tolerado". Quando definido false como, o conector registra erros "não tolerados".
Esta propriedade substitui a propriedade errors.log.enable do Connect Framework.
Padrão:false Valores aceitos: true ou false
errors.log.include.messages
Tipo: booleano
Descrição: Se o conector deve incluir a mensagem inválida ao registrar um erro. Uma mensagem inválida inclui dados como chaves de registro, valores e cabeçalhos.
Padrão:false Valores aceitos: true ou false
errors.deadletterqueue.topic.name
Tipo: string
Descrição: Nome do tópico a ser usado como fila de mensagens não entregues (DLQ). Se estiver em branco, o conector não enviará nenhuma mensagem inválida para a fila de mensagens não entregues (DLQ)).
Para saber mais sobre as exceções que o conector define e relata por meio de cabeçalhos de contexto, consulte Exceções de escrita em massa.
Padrão:false Valores aceitos: true ou false
errors.deadletterqueue.topic.replication.factor
Tipo: número inteiro
Descrição: o número de nós nos quais replicar o tópico da fila de mensagens não entregues (DLQ) . Se você estiver executando um cluster Kafka de nó único, deverá definir isso 1 como.
Use as seguintes definições de configuração para especificar como o connector de coletor do MongoDB Kafka deve transformar os dados do Kafka antes de inseri-los no MongoDB.
Valores aceitos: Uma lista separada por vírgulas de nomes de classes Java totalmente qualificados
field.gregar.mapping
Tipo: string
Descrição: uma lista de mapeamentos de nome de campo para campos de chave e valor. Defina os mapeamentos em uma array JSON in-line no seguinte formato:
Descrição: uma lista de mapeamentos de nome de campo para campos de chave e valor usando expressões regulares. Defina os mapeamentos em uma array JSON in-line no seguinte formato:
Valores aceitos: Um nome de classe Java totalmente qualificado
Estratégia de ID
Use as seguintes configurações para especificar como o conector MongoDB Kafka sink deve determinar o valor _id para cada documento que ele grava no MongoDB.
Valores aceitos: uma string vazia ou nome de classe Java totalmente qualificado
document.id.strategy.overwrite.existing
Tipo: booleano
Descrição: se o conector deve substituir os valores existentes no _id campo quando aplicar a estratégia definida pela document.id.strategy propriedade.
Padrão: false Valores aceitos: true ou false
document.id.strategy.uuid.format
Tipo: string
Descrição: se o conector deve produzir o UUID no _id campo no formato de string ou no formato BsonBinary.
Padrão: string Valores aceitos: string ou binary
delete.on.null.values
Tipo: boolean
Descrição: Se o conector deve excluir documentos quando o valor da chave corresponder a um documento no MongoDB e o campo de valor for nulo.
Essa configuração se aplica quando você especifica uma estratégia de geração de id que opera no documento FullKeyStrategyPartialKeyStrategychave, como, e.ProvidedInKeyStrategy
Padrão: false Valores aceitos: true ou false
Estratégia do modelo de escrita
Você pode definir propriedades de configuração para especificar como o de MongoDB Kafka coletor do connector grava dados no MongoDB. As seções a seguir descrevem as propriedades de configuração que você pode definir para personalizar este comportamento.
WriteModel
Configure a propriedade de configuração writemodel.strategy para especificar como o connector do coletor grava dados quando recebe um registro do coletor.
Você pode definir o valor de writemodel.strategy para qualquer um dos nomes de classe totalmente qualificados das estratégias de modelo de gravação descritas na seção Estratégias desta página. Você pode especificar uma estratégia definindo a seguinte configuração:
writemodel.strategy=<a write model strategy>
Excluir modelo de gravação
Configure a propriedade de configuração delete.writemodel.strategy para especificar como o connector do coletor grava dados quando recebe um evento de marca para exclusão. Um evento de marca de exclusão é um registro que contém uma chave, mas nenhum valor, o que significa um registro excluído.
Você pode definir o valor de delete.writemodel.strategy para qualquer um dos nomes de classe totalmente qualificados das estratégias de modelo de gravação descritas na seção Estratégias desta página. Você pode especificar uma estratégia definindo a seguinte configuração:
delete.writemodel.strategy=<a write model strategy>
Descrição: Essa estratégia usa o ReplaceOneDefaultStrategy por padrão e o InsertOneDefaultStrategy se você definir a timeseries.timefield opção.
Este é o valor padrão para a writemodel.strategy propriedade de configuração.
InsertOneDefaultStrategy
Descrição: Insira cada registro de coletor no MongoDB como um documento. Para especificar esta estratégia, defina a propriedade de configuração para o seguinte nome de classe :
Descrição: Substitui, no máximo, um documento no MongoDB que corresponda a um registro de coletor pelo _id campo. Se nenhum documento corresponder, o conector inserirá o registro de coletor como um novo documento. Para especificar esta estratégia, defina a propriedade de configuração para o seguinte nome de classe :
Descrição: Substitui no máximo um documento que corresponda a um registro de coletor por uma chave de negócios especificada. Se nenhum documento corresponder, o conector inserirá o registro de coletor como um novo documento. Para especificar esta estratégia, defina a propriedade de configuração para o seguinte nome de classe :
Descrição: Exclui no máximo um documento que corresponda à estrutura de chave do conector do coletor pelo _id campo somente quando o documento contiver uma estrutura de valor nulo.
Este é o valor padrão para a delete.writemodel.strategy propriedade de configuração.
Essa estratégia é definida como o valor padrão da writemodel.strategy propriedade quando você delete.on.null.values=true define. Para especificar esta estratégia, defina a propriedade de configuração para o seguinte nome de classe :
Descrição: Exclui no máximo um documento do MongoDB que corresponde a um registro de coletor por uma chave comercial. Para especificar essa estratégia, defina a propriedade de configuração para o seguinte nome de classe:
Descrição: Atualiza no máximo um documento no MongoDB que corresponde a um registro de coletor pelo _id campo. Se nenhum documento corresponder, o conector inserirá o registro de coletor como um novo documento. Para especificar esta estratégia, defina a propriedade de configuração para o seguinte nome de classe :
Descrição: Adicione _insertedTS campos (carimbo de data/hora inserido) e _modifiedTS (carimbo de data/hora modificado) em documentos. Para especificar esta estratégia, defina a propriedade de configuração para o seguinte nome de classe :
Descrição: Adicione _insertedTS campos (carimbo de data/hora inserido) e _modifiedTS (carimbo de data/hora modificado) em documentos que correspondam a uma chave de negócios. Para especificar esta estratégia, defina a propriedade de configuração para o seguinte nome de classe :
Use as seguintes definições de configuração do conector do coletor do MongoDB Kafka para substituir as configurações de propriedade globais ou padrão para tópicos específicos.
Descrição: Especifique um tópico e nome de propriedade para substituir a configuração de propriedade global ou padrão correspondente.
Por exemplo, a topic.override.foo.collection=bar configuração instrui o conector do coletor a armazenar dados do foo tópico na bar collection .
Você pode especificar qualquer definição de configuração válida no <propertyName> segmento por tópico, exceto connection.uri e.topics
Padrão: "" Valores aceitos: valores aceitos específicos para a propriedade substituída
Alterar captura de dados
Use as seguintes definições de configuração para especificar uma classe que o de MongoDB Kafka coletor do connector usa para processar eventos de captura de dados de alteração (CDC).
Consulte o guia sobre Alterar manipuladores de captura de dados para obter exemplos usando o ChangeStreamHandler integrado e manipuladores para os produtores de evento Debezium e Qlik Replicate.
Descrição: o nome da classe do manipulador CDC a ser usado para converter alterações em fluxos de evento .Consulte Manipuladores CDC Disponíveis para obter uma lista de manipuladores CDC.
Padrão: "" Valores aceitos: uma string vazia ou um nome de classe Java totalmente qualificado
Séries temporais
Use as seguintes definições de configuração para especificar como o conector de coletor do MongoDB Kafka deve coletar dados em uma coleção de séries temporais do MongoDB.
Descrição: o nome do campo de nível superior nos dados de origem que contêm informações de tempo que você deseja associar ao novo documento na coleção de séries temporais.
Padrão: "" Valores aceitos: uma string vazia ou o nome de um campo que contém um DateTime valor BSON
timeseries.timefield.auto.converter.date.format
Tipo: string
Descrição: O padrão de formato de data que o conector deve usar para converter os dados de origem contidos no campo especificado pela timeseries.timefield configuração.
de hora. Se o valor de data dos dados de origem contiver apenas informações de data, o conector definirá as informações de hora para o início do dia especificado. Se o valor de data não contiver o deslocamento de fuso horário, o conector definirá o deslocamento como UTC.
Valores aceitos: um formato DateTimeFormatter válido
timeseries.timefield.auto.converter
Tipo: boolean
Descrição: se deve converter os dados no campo para o Date formato BSON.
Quando definido true como, o conector usa os milissegundos após a época e descarta partes fracionárias se o valor for um número. Se o valor for uma string, o conector usará a configuração na seguinte configuração para analisar a data:
timeseries.timefield.auto.convert.date.format
Se o conector não conseguir converter o valor, ele enviará o valor original para a coleção de séries temporais.
DateTimeFormatter tag de idioma do locale usar com o padrão de formato de data (por"en-US" exemplo,).
Para saber mais sobre localidades, consulte a documentação Java SE de Locale.
Padrão: ROOT Valores aceitos: um Locale formato de tag de idioma válido
timeseries.metafield
Tipo: string
Descrição: Qual campo de nível superior ler dos dados de origem para descrever um grupo de documentos de série temporal relacionados.
IMPORTANTE: este campo não pode ser o _id campo nem o campo que você especificou na timeseries.timefield configuração.
"" Padrão:Valores aceitos: uma string vazia ou o nome de um campo que contém qualquer tipo BSON,BsonArray exceto.
timeseries.expire.after.seconds
Tipo: int
Descrição: O número de segundos que o MongoDB deve esperar antes de remover automaticamente os dados da coleção de séries temporais . O conector desativa a expiração programada quando o valor de configuração é menor 1 que.