Para agentes de IA: um índice de documentação está disponível em https://www.mongodb.com/pt-br/docs/llms.txt — as versões de markdown de todas as páginas estão disponíveis anexando .md a qualquer caminho de URL.
Todas as propriedades de configuração do conector coletor
Visão geral
Nesta página, você pode visualizar todas as propriedade de configuração disponíveis para o connector de sink do MongoDB Kafka. Esta página duplica o conteúdo das outras páginas de propriedade de configuração do connector de pia.
Para exibir uma lista de todas as páginas de propriedade de configuração do connector de coletor, consulte a página de propriedade de configuração do connector de coletor.
Conexão do MongoDB
Use as seguintes definições de configuração para especificar como o de MongoDB Kafka coletor do connector se conecta e se comunica com o MongoDB cluster.
IMPORTANTE: para evitar expor suas credenciais de autenticação na sua configuração do connection.uri, utilize um ConfigProvider e defina os parâmetros de configuração apropriados.
Padrão: mongodb://localhost:27017 Valores aceitos: uma string de URI de conexão MongoDB
server.api.version
Tipo: string
Descrição: A versão da Stable API que você deseja usar com seu servidor MongoDB. Para obter mais informações sobre a Stable API e as versões do servidor que a suportam, consulte o guia do manual do servidor MongoDB Stable API.
Padrão: "" Valores aceitos: uma string vazia ou uma versão válida da Stable API.
server.api.deprecationErrors
Tipo: booleano
Descrição: Quando definido como true, se o conector chamar um comando em sua instância do MongoDB que está obsoleto na versão declarada da Stable API, ele gera uma exceção.
Você pode definir a versão da API com a opção de configuração do server.api.version. Para obter mais informações sobre a Stable API, consulte a entrada manual do MongoDB na Stable API.
Padrão: false Valores aceitos: true ou false
server.api.strict
Tipo: booleano
Descrição: Quando definido como true, se o conector chamar um comando em sua instância do MongoDB que não esteja coberto pela versão declarada da Stable API, ele emitirá uma exceção.
Você pode definir a versão da API com a opção de configuração do server.api.version. Para obter mais informações sobre a Stable API, consulte a entrada manual do MongoDB na Stable API.
Padrão: false Valores aceitos: true ou false
Namespace MongoDB
Use as seguintes definições de configuração para especificar em qual MongoDB database e collection o connector de sink do MongoDB Kafka grava os dados. Você pode utilizar o DefaultNamespaceMapper padrão ou especificar uma classe personalizada.
Descrição: O nome da classe totalmente qualificado da classe que especifica em qual banco de dados ou coleção os dados devem ser armazenados. O DefaultNamespaceMapper padrão usa valores especificados nas propriedades database e collection.
O conector inclui uma classe alternativa para especificar o banco de dados e a coleção chamada FieldPathNamespaceMapper. Consulte FieldPathNamespaceMapper Settings para obter mais informações.
Valores aceitos: Um nome de classe Java totalmente qualificado de uma classe que implementa a interface NamespaceMapper .
database
Obrigatório
Tipo: string
Descrição: O nome do banco de dados MongoDB para o qual o conector de coletor grava.
Valores aceitos: um nome de banco de dados MongoDB
collection
Tipo: string
Descrição: O nome da coleção MongoDB para a qual o conector de sink grava. Se o conector de sink seguir vários tópicos, esta será a coleção padrão para quaisquer gravações que não sejam especificadas de outra forma.
Padrão: o nome do tópico.
Valores aceitos : Um nome de collection do MongoDB
Configurações do FieldPathNamespaceMapper
Se você configurar o conector de pia para usar o FieldPathNamespaceMapper, poderá especificar qual banco de dados e coleção coletará um documento com base nos valores de campo dos dados.
Para habilitar esse comportamento de mapeamento, defina a propriedade de configuração do conector de pia namespace.mapper como o nome da classe totalmente qualificado, conforme mostrado abaixo:
O FieldPathNamespaceMapper exige que você especifique as seguintes configurações:
Uma ou ambas as propriedade de mapeamento para um reconhecimento de data center e collection
Um dos mapeamentos do key ou value para um banco de dados
Um dos mapeamentos key ou value para uma collection
Você pode usar as seguintes configurações para personalizar o comportamento do FieldPathNamespaceMapper:
Nome
Descrição
namespace.mapper.key.database.field
Tipo: string
Descrição: O nome do campo de documento chave que especifica o nome do banco de dados no qual gravar.
namespace.mapper.key.collection.field
Tipo: string
Descrição: O nome do campo de documento chave que especifica o nome da coleção na qual gravar.
namespace.mapper.value.database.field
Tipo: string
Descrição: O nome do campo de documento de valor que especifica o nome do banco de dados no qual gravar.
namespace.mapper.value.collection.field
Tipo: string
Descrição: O nome do campo de documento de valor que especifica o nome da coleção na qual gravar.
namespace.mapper.error.if.invalid
Tipo: booleano
Descrição: Se deve lançar uma exceção quando o documento não tiver o campo mapeado ou tiver um tipo BSON inválido.
Quando definido como true, o conector não processa documentos que não têm o campo mapeado ou que contêm um tipo BSON inválido. O conector pode parar ou ignorar o em processamento dependendo das configurações de configuração de tratamento de erros relacionadas.
Quando definido como false, se um documento não tiver o campo mapeado ou tiver um tipo BSON inválido, o conector padroniza a gravação nas configurações database e collection especificadas.
Padrão: false Valores aceitos: true ou false
Tópico do conector
Use as seguintes definições de configuração para especificar quais tópicos do Kafka o connector de pia do MongoDB Kafka deve observar os dados.
Descrição: Uma lista de tópicos Kafka que o conector de coletor observa.
Você pode definir a configuração topics ou topics.regex , mas não ambas.
Valores aceitos: uma lista separada por vírgula de tópicos válidos do Kafka
topic.regex
Obrigatório
Tipo: string
Descrição: Uma expressão regular que corresponde aos tópicos do Kafka que o conector de sink observa.
Por exemplo, o regex a seguir corresponde a nomes de tópicos como "atividade.anding.cliques" e "atividade.support.cliques". Não corresponde aos nomes do tópico " Activity.Landing.views " e "atividade.cliques".
topics.regex=activity\\.\\w+\\.clicks$
Você pode definir a configuração topics ou topics.regex , mas não ambas.
Valores aceitos: Um padrão de expressão regular válido utilizando java.util.regex.Pattern.
Processamento de mensagens do conector
Use as configurações nesta página para configurar o comportamento de processamento de mensagens do connector de pia MongoDB Kafka, incluindo o seguinte:
Descrição: Número máximo de registros de sink para agrupar em lote para em processamento.
Considere o lote que contém os seguintes registros:
[ 1, 2, 3, 4, 5 ]
Quando definido como 0, o conector executa uma única gravar em massa para todo o lote.
Quando definido como 1, o conector executa uma gravação em massa para cada registro no lote, para um total de cinco gravações em massa, conforme mostrado no exemplo a seguir:
[1], [2], [3], [4], [5]
Padrão: 0 Valores aceitos: um número inteiro
bulk.write.ordered
Tipo: booleano
descrição: Se o conector grava um lote de registro como uma operação de gravação em massa ordenada ou não ordenada. Quando definido como true, o valor padrão, o conector grava um lote de registro como uma operação de gravação em massa ordenada.
Descrição: Número de lotes de registros que o conector de sink processa para trigger o tempo limite de limitação de taxa. Um valor de 0 significa que não há limitação de taxa.
Padrão: 0 Valores aceitos: um número inteiro
rate.limiting.timeout
Tipo: int
Descrição: Quanto tempo (em milissegundos) esperar antes que o conector de sink deva retomar o processamento após atingir o limite de limitação de taxa.
Padrão: 0 Valores aceitos: Um número inteiro
tarefas.max
Tipo: int
Descrição: O número máximo de tarefas a serem criadas para este conector. O conector pode criar menos do que o máximo de tarefas especificadas se não conseguir lidar com o nível de paralelismo especificado.
IMPORTANTE: Se você especificar um valor maior que 1, o conector habilitará o processamento paralelo das tarefas. Se o seu tópico tiver vários logs de partição, o que permite que o conector leia o tópico em paralelo, as tarefas poderão processar as mensagens fora de ordem.
Padrão: 1 Valores aceitos: um número inteiro
Tratamento de erros do conector
Use as seguintes definições de configuração para especificar como o conector do coletor do MongoDB Kafka lida com erros e para configurar a fila de letras mortas.
Descrição: Se deve continuar processando mensagens caso o conector encontre um erro. Permite que o conector substitua a configuração do cluster Kafka errors.tolerance.
Quando definido como none, o conector relata qualquer erro e bloqueia o em processamento adicional do restante das mensagens.
Quando definido como all, o conector ignora quaisquer mensagens problemáticas.
Quando definido como data, o conector tolera apenas erros de dados e falha em todos os outros erros.
Para aprender mais sobre estratégias de tratamento de erros, consulte a página Lidar com erros.
Esta propriedade substitui a errors.tolerance propriedade do Connect Framework.
Padrão: Herda o valor da configuração errors.tolerance. Valores aceitos: "none" ou "all"
mongo.errors.log.enable
Tipo: booleano
Descrição: Se o conector deve gravar detalhes de erros, incluindo operações com falha, no arquivo de log. O conector classifica os erros como "tolerados" ou "não tolerados" usando as configurações errors.tolerance ou mongo.errors.tolerance.
Quando definido como true, o conector registra erros "tolerados" e "não tolerados". Quando definido como false, o conector registra erros "não tolerados".
Esta propriedade substitui a propriedade errors.log.enable propriedade do Connect Framework.
Padrão:false Valores aceitos: true ou false
errors.log.include.messages
Tipo: booleano
Descrição: Se o conector deve incluir a mensagem inválida ao registrar um erro. Uma mensagem inválida inclui dados como chaves de registro, valores e cabeçalhos.
Padrão:false Valores aceitos: true ou false
errors.deadletterqueue.topic.name
Tipo: string
Descrição: Nome do tópico a ser usado como fila de mensagens não entregues (DLQ). Se estiver em branco, o conector não enviará nenhuma mensagem inválida para a fila de mensagens não entregues (DLQ).
Para saber mais sobre as exceções que o connector define e relata por meio de cabeçalhos de contexto, consulte Exceções de gravação em massa.
Padrão:false Valores aceitos: true ou false
errors.deadletterqueue.topic.replication.factor
Tipo: inteiro
Descrição: O número de nós nos quais replicar o tópico da fila de mensagens não entregues (DLQ). Se você estiver executando um cluster Kafka de nó único, deverá definir isso como 1.
Use as seguintes definições de configuração para especificar como o connector de coletor do MongoDB Kafka deve transformar os dados do Kafka antes de inseri-los no MongoDB.
Valores aceitos: Uma lista separada por vírgulas de nomes de classes Java totalmente qualificados
field.gregar.mapping
Tipo: string
Descrição: Uma lista de mapeamentos de nomes de campo para campos de chave e valor. Defina os mapeamentos em um array JSON embutido no seguinte formato:
Descrição: Uma lista de mapeamentos de nomes de campo para campos de chave e valor usando expressões regulares. Defina os mapeamentos em um array JSON embutido no seguinte formato:
Valores aceitos: Um nome de classe Java totalmente qualificado
Estratégia de ID
Use as seguintes configurações para especificar como o conector MongoDB Kafka sink deve determinar o valor _id para cada documento que ele grava no MongoDB.
Valores aceitos: uma string vazia ou nome de classe Java totalmente qualificado
document.id.strategy.overwrite.existing
Tipo: booleano
Descrição: Se o conector deve substituir os valores existentes no campo _id quando aplica a estratégia definida pela propriedade document.id.strategy.
Padrão: false Valores aceitos: true ou false
document.id.strategy.uuid.format
Tipo: string
Descrição: Se o conector deve gerar o UUID no campo _id em formato de string ou em formato BsonBinary.
Padrão: string Valores aceitos: string ou binary
delete.on.null.values
Tipo: booleano
Descrição: Se o connector deve ou não excluir documentos quando o valor da chave corresponder a um documento no MongoDB e o campo de valor for nulo.
Essa configuração se aplica quando você especifica uma estratégia de geração de ID que opera no documento de chave, como FullKeyStrategy, PartialKeyStrategy e ProvidedInKeyStrategy.
Padrão: false Valores aceitos: true ou false
Estratégia do modelo de escrita
Você pode definir propriedades de configuração para especificar como o de MongoDB Kafka coletor do connector grava dados no MongoDB. As seções a seguir descrevem as propriedades de configuração que você pode definir para personalizar este comportamento.
WriteModel
Configure a propriedade de configuração writemodel.strategy para especificar como o connector do coletor grava dados quando recebe um registro do coletor.
Você pode definir o valor de writemodel.strategy para qualquer um dos nomes de classe totalmente qualificados das estratégias de modelo de gravação descritas na seção Estratégias desta página. Você pode especificar uma estratégia definindo a seguinte configuração:
writemodel.strategy=<a write model strategy>
Excluir modelo de gravação
Configure a propriedade de configuração delete.writemodel.strategy para especificar como o connector do coletor grava dados quando recebe um evento de marca para exclusão. Um evento de marca de exclusão é um registro que contém uma chave, mas nenhum valor, o que significa um registro excluído.
Você pode definir o valor de delete.writemodel.strategy para qualquer um dos nomes de classe totalmente qualificados das estratégias de modelo de gravação descritas na seção Estratégias desta página. Você pode especificar uma estratégia definindo a seguinte configuração:
delete.writemodel.strategy=<a write model strategy>
Descrição: Por padrão, esta estratégia usa o ReplaceOneDefaultStrategy e o InsertOneDefaultStrategy se você definir a opção timeseries.timefield.
Este é o valor padrão para a propriedade de configuração writemodel.strategy.
InsertOneDefaultStrategy
Descrição: Insira cada registro de sink no MongoDB como um documento. Para especificar essa estratégia, defina a propriedade de configuração para o seguinte nome de classe:
Descrição: Substitui no máximo um documento no MongoDB que corresponde a um registro de sink pelo campo _id. Se nenhum documento corresponder, o conector inserirá o registro de sink como um novo documento. Para especificar essa estratégia, defina a propriedade de configuração para o seguinte nome de classe:
Descrição: Substitui no máximo um documento que corresponde a um registro de sink por uma chave comercial especificada. Se nenhum documento corresponder, o conector inserirá o registro de sink como um novo documento. Para especificar essa estratégia, defina a propriedade de configuração para o seguinte nome de classe:
Descrição: Exclui no máximo um documento que corresponda à estrutura de chave do seu conector de coletor pelo campo _id somente quando o documento contiver uma estrutura de valor nulo.
Este é o valor padrão para a propriedade de configuração delete.writemodel.strategy.
Essa estratégia é definida como o valor padrão da propriedade writemodel.strategy quando você define delete.on.null.values=true. Para especificar essa estratégia, defina a propriedade de configuração para o seguinte nome de classe:
Descrição: Exclui no máximo um documento do MongoDB que corresponde a um registro de coletor por uma chave comercial. Para especificar essa estratégia, defina a propriedade de configuração para o seguinte nome de classe:
Descrição: Atualiza no máximo um documento no MongoDB que corresponde a um registro de coletor pelo campo _id. Se nenhum documento corresponder, o conector inserirá o registro de sink como um novo documento. Para especificar essa estratégia, defina a propriedade de configuração para o seguinte nome de classe:
Descrição: Adicione os campos _insertedTS (carimbo de data/hora inserido) e _modifiedTS (carimbo de data/hora modificado) aos documentos. Para especificar essa estratégia, defina a propriedade de configuração para o seguinte nome de classe:
Descrição: Adicione _insertedTS (carimbo de data/hora inserido) e _modifiedTS (carimbo de data/hora modificado) campos em documentos que correspondem a uma chave comercial. Para especificar essa estratégia, defina a propriedade de configuração para o seguinte nome de classe:
Use as seguintes definições de configuração do conector do coletor do MongoDB Kafka para substituir as configurações de propriedade globais ou padrão para tópicos específicos.
Descrição: Especifique um tópico e um nome de propriedade para substituir a configuração de propriedade global ou padrão correspondente.
Por exemplo, a topic.override.foo.collection=bar configuração instrui o conector de coletor a armazenar dados do foo tópico na bar coleção.
Você pode especificar qualquer configuração válida no <propertyName> segmento connection.uri por topics tópico, exceto e.
Padrão: "" Valores aceitos: Valores aceitos específicos para a propriedade substituída
Alterar captura de dados
Use as seguintes definições de configuração para especificar uma classe que o de MongoDB Kafka coletor do connector usa para processar eventos de captura de dados de alteração (CDC).
Consulte o guia sobre Alterar manipuladores de captura de dados para obter exemplos usando o ChangeStreamHandler integrado e manipuladores para os produtores de evento Debezium e Qlik Replicate.
descrição: O nome da classe do manipulador CDC a ser usado para converter alterações em fluxos de eventos. Consulte Manipuladores CDC disponíveis para obter uma lista de manipuladores CDC.
Padrão: "" Valores aceitos: uma string vazia ou um nome de classe Java totalmente qualificado
Séries temporais
Use as seguintes definições de configuração para especificar como o conector de coletor do MongoDB Kafka deve coletar dados em uma coleção de séries temporais do MongoDB.
Descrição: O nome do campo de nível superior nos dados de origem que contém informações de tempo que você deseja associar ao novo documento na coleção de séries temporais.
Padrão: "" Valores aceitos: uma string vazia ou o nome de um campo que contém um valor BSON DateTime
timeseries.timefield.auto.converter.date.format
Tipo: string
Descrição: O padrão de formato de data que o conector deve usar para converter os dados de origem contidos no campo especificado pela configuração timeseries.timefield.
Se o valor da data dos dados de origem contiver apenas informações de data, o conector definirá as informações de hora para o início do dia especificado. Se o valor da data não contiver o deslocamento do fuso horário, o conector definirá o deslocamento para UTC.
Valores aceitos: um formato DateTimeFormatter válido
timeseries.timefield.auto.converter
Tipo: booleano
Descrição: Se os dados no campo devem ser convertidos para o formato BSON Date.
Quando definido como true, o conector usa os milissegundos após a Era UNIX e descarta as partes fracionárias se o valor for um número. Se o valor for uma string, o conector usa a configuração a seguir para analisar a data:
timeseries.timefield.auto.convert.date.format
Se o conector não conseguir converter o valor, ele enviará o valor original para a coleção de séries temporais.
Descrição: Qual tag de linguagem DateTimeFormatter locale usar com o padrão de formato de data (por exemplo, "en-US").
Para aprender mais sobre locale, consulte a documentação Java SE de Locale.
Padrão: ROOT Valores aceitos: Um formato de tag de linguagem Locale válido
timeseries.metafield
Tipo: string
Descrição: Qual campo de nível superior ler dos dados de origem para descrever um grupo de documentos de série temporal relacionados.
IMPORTANTE: Este campo não deve ser o campo _id nem o campo especificado na configuração timeseries.timefield.
Padrão: "" Valores aceitos: Uma string vazia ou o nome de um campo que contém qualquer tipo BSON, exceto BsonArray.
timeseries.expire.after.seconds
Tipo: int
Descrição: O número de segundos que o MongoDB deve aguardar antes de remover automaticamente os dados da coleção de séries temporais. O conector desativa a expiração cronometrada quando o valor da configuração é inferior a 1.