Para agentes de IA: um índice de documentação está disponível em https://www.mongodb.com/pt-br/docs/llms.txt — as versões de markdown de todas as páginas estão disponíveis anexando .md a qualquer caminho de URL.
Todas as propriedades de configuração do conector coletor
Visão geral
Nesta página, você pode visualizar todas as propriedade de configuração disponíveis para o connector de sink do MongoDB Kafka. Esta página duplica o conteúdo das outras páginas de propriedade de configuração do connector de pia.
Para exibir uma lista de todas as páginas de propriedade de configuração do connector de coletor, consulte a página de propriedade de configuração do connector de coletor.
Conexão do MongoDB
Use as seguintes definições de configuração para especificar como o de MongoDB Kafka coletor do connector se conecta e se comunica com o MongoDB cluster.
Descrição: a string URI de conexão do MongoDB para se conectar à sua instância ou cluster do MongoDB . Para obter mais informações, consulte o guia Conectar ao MongoDB
IMPORTANTE: para evitar expor suas credenciais de autenticação na sua configuração do connection.uri, utilize um ConfigProvider e defina os parâmetros de configuração apropriados.
Padrão: mongodb://localhost:27017 Valores aceitos: uma string de URI de conexão MongoDB
server.api.version
Tipo: string
Descrição: a versão da Stable API que você deseja usar com seu servidor MongoDB . Para obter mais informações sobre a API estável e as versões do servidor que a suportam, consulte o guia de manual do servidor MongoDB da API estável.
Padrão:Valores"" aceitos: uma string vazia ou uma versão válida da API estável.
server.api.deprecationErrors
Type: boolean
Description: When set to true, if the connector calls a command on your MongoDB instance that's deprecated in the declared Stable API version, it raises an exception.
You can set the API version with the server.api.version configuration option. For more information on the Stable API, see the MongoDB manual entry on the Stable API.
Default: false Accepted Values: true or false
server.api.strict
Type: boolean
Description: When set to true, if the connector calls a command on your MongoDB instance that's not covered in the declared Stable API version, it raises an exception.
You can set the API version with the server.api.version configuration option. For more information on the Stable API, see the MongoDB manual entry on the Stable API.
Default: false Accepted Values: true or false
Namespace MongoDB
Use as seguintes definições de configuração para especificar em qual MongoDB database e collection o connector de sink do MongoDB Kafka grava os dados. Você pode utilizar o DefaultNamespaceMapper padrão ou especificar uma classe personalizada.
Descrição: O nome da classe totalmente qualificado da classe que especifica em qual banco de dados ou coleção os dados devem ser armazenados. O DefaultNamespaceMapper padrão usa valores especificados nas propriedades database e collection.
O conector inclui uma classe alternativa para especificar o banco de dados e a coleção chamada FieldPathNamespaceMapper. Consulte FieldPathNamespaceMapper Settings para obter mais informações.
Valores aceitos: Um nome de classe Java totalmente qualificado de uma classe que implementa a interface NamespaceMapper .
database
Obrigatório
Tipo: string
Descrição: O nome do banco de dados MongoDB para o qual o conector de coletor grava.
Valores aceitos: um nome de banco de dados MongoDB
collection
Tipo: string
Descrição: O nome da coleção MongoDB para a qual o conector de sink grava. Se o conector de sink seguir vários tópicos, esta será a coleção padrão para quaisquer gravações que não sejam especificadas de outra forma.
Padrão: o nome do tópico.
Valores aceitos : Um nome de collection do MongoDB
Configurações do FieldPathNamespaceMapper
Se você configurar o conector de pia para usar o FieldPathNamespaceMapper, poderá especificar qual banco de dados e coleção coletará um documento com base nos valores de campo dos dados.
Para habilitar esse comportamento de mapeamento, defina a propriedade de configuração do conector de pia namespace.mapper como o nome da classe totalmente qualificado, conforme mostrado abaixo:
O FieldPathNamespaceMapper exige que você especifique as seguintes configurações:
Uma ou ambas as propriedade de mapeamento para um reconhecimento de data center e collection
Um dos mapeamentos do key ou value para um banco de dados
Um dos mapeamentos key ou value para uma collection
Você pode usar as seguintes configurações para personalizar o comportamento do FieldPathNamespaceMapper:
Nome
Descrição
namespace.mapper.key.database.field
Tipo: string
Descrição: O nome do campo de documento chave que especifica o nome do banco de dados no qual gravar.
namespace.mapper.key.collection.field
Tipo: string
Descrição: O nome do campo de documento chave que especifica o nome da coleção na qual gravar.
namespace.mapper.value.database.field
Tipo: string
Descrição: O nome do campo de documento de valor que especifica o nome do banco de dados no qual gravar.
namespace.mapper.value.collection.field
Tipo: string
Descrição: O nome do campo de documento de valor que especifica o nome da coleção na qual gravar.
namespace.mapper.error.if.invalid
Tipo: booleano
Descrição: Se deve lançar uma exceção quando o documento não tiver o campo mapeado ou tiver um tipo BSON inválido.
Quando definido como true, o conector não processa documentos que não têm o campo mapeado ou que contêm um tipo BSON inválido. O conector pode parar ou ignorar o em processamento dependendo das configurações de configuração de tratamento de erros relacionadas.
Quando definido como false, se um documento não tiver o campo mapeado ou tiver um tipo BSON inválido, o conector padroniza a gravação nas configurações database e collection especificadas.
Padrão: false Valores aceitos: true ou false
Tópico do conector
Use as seguintes definições de configuração para especificar quais tópicos do Kafka o connector de pia do MongoDB Kafka deve observar os dados.
Descrição: Uma lista de tópicos Kafka que o conector de coletor observa.
Você pode definir a configuração topics ou topics.regex , mas não ambas.
Valores aceitos: uma lista separada por vírgula de tópicos válidos do Kafka
topic.regex
Obrigatório
Tipo: string
Descrição: Uma expressão regular que corresponde aos tópicos do Kafka que o conector de sink observa.
Por exemplo, o regex a seguir corresponde a nomes de tópicos como "atividade.anding.cliques" e "atividade.support.cliques". Não corresponde aos nomes do tópico " Activity.Landing.views " e "atividade.cliques".
topics.regex=activity\\.\\w+\\.clicks$
Você pode definir a configuração topics ou topics.regex , mas não ambas.
Valores aceitos: Um padrão de expressão regular válido utilizando java.util.regex.Pattern.
Processamento de mensagens do conector
Use as configurações nesta página para configurar o comportamento de processamento de mensagens do connector de pia MongoDB Kafka, incluindo o seguinte:
Descrição: Número máximo de registros de sink para agrupar em lote para em processamento.
Considere o lote que contém os seguintes registros:
[ 1, 2, 3, 4, 5 ]
Quando definido como 0, o conector executa uma única gravar em massa para todo o lote.
Quando definido como 1, o conector executa uma gravação em massa para cada registro no lote, para um total de cinco gravações em massa, conforme mostrado no exemplo a seguir:
[1], [2], [3], [4], [5]
Padrão: 0 Valores aceitos: um número inteiro
bulk.write.ordered
Tipo: booleano
descrição: Se o conector grava um lote de registro como uma operação de gravação em massa ordenada ou não ordenada. Quando definido como true, o valor padrão, o conector grava um lote de registro como uma operação de gravação em massa ordenada.
Descrição: Número de lotes de registros que o conector de sink processa para trigger o tempo limite de limitação de taxa. Um valor de 0 significa que não há limitação de taxa.
Padrão: 0 Valores aceitos: um número inteiro
rate.limiting.timeout
Tipo: int
Descrição: Quanto tempo (em milissegundos) esperar antes que o conector de sink deva retomar o processamento após atingir o limite de limitação de taxa.
Padrão: 0 Valores aceitos: Um número inteiro
tarefas.max
Tipo: int
Descrição: O número máximo de tarefas a serem criadas para este conector. O conector pode criar menos do que o máximo de tarefas especificadas se não conseguir lidar com o nível de paralelismo especificado.
IMPORTANTE: Se você especificar um valor maior que 1, o conector habilitará o processamento paralelo das tarefas. Se o seu tópico tiver vários logs de partição, o que permite que o conector leia o tópico em paralelo, as tarefas poderão processar as mensagens fora de ordem.
Padrão: 1 Valores aceitos: um número inteiro
Tratamento de erros do conector
Use as seguintes definições de configuração para especificar como o conector do coletor do MongoDB Kafka lida com erros e para configurar a fila de letras mortas.
Description: Whether to continue processing messages if the connector encounters an error. Allows the connector to override the errors.tolerance Kafka cluster setting.
When set to none, the connector reports any error and blocks further processing of the rest of the messages.
When set to all, the connector ignores any problematic messages.
When set to data, the connector tolerates only data errors and fails on all other errors.
To learn more about error handling strategies, see the Handle Errors page.
This property overrides the errors.tolerance property of the Connect Framework.
Default: Inherits the value from the errors.tolerance setting. Accepted Values: "none" or "all"
mongo.errors.log.enable
Type: boolean
Description: Whether the connector should write details of errors including failed operations to the log file. The connector classifies errors as "tolerated" or "not tolerated" using the errors.tolerance or mongo.errors.tolerance settings.
When set to true, the connector logs both "tolerated" and "not tolerated" errors. When set to false, the connector logs "not tolerated" errors.
This property overrides the errors.log.enable property of the Connect Framework.
Default:false Accepted Values: true or false
errors.log.include.messages
Tipo: booleano
Descrição: Se o conector deve incluir a mensagem inválida ao registrar um erro. Uma mensagem inválida inclui dados como chaves de registro, valores e cabeçalhos.
Padrão:false Valores aceitos: true ou false
errors.deadletterqueue.topic.name
Tipo: string
Descrição: Nome do tópico a ser usado como fila de mensagens não entregues (DLQ). Se estiver em branco, o conector não enviará nenhuma mensagem inválida para a fila de mensagens não entregues (DLQ).
Para saber mais sobre as exceções que o connector define e relata por meio de cabeçalhos de contexto, consulte Exceções de gravação em massa.
Padrão:false Valores aceitos: true ou false
errors.deadletterqueue.topic.replication.factor
Tipo: inteiro
Descrição: O número de nós nos quais replicar o tópico da fila de mensagens não entregues (DLQ). Se você estiver executando um cluster Kafka de nó único, deverá definir isso como 1.
Use as seguintes definições de configuração para especificar como o connector de coletor do MongoDB Kafka deve transformar os dados do Kafka antes de inseri-los no MongoDB.
Valores aceitos: Uma lista separada por vírgulas de nomes de classes Java totalmente qualificados
field.gregar.mapping
Tipo: string
Descrição: Uma lista de mapeamentos de nomes de campo para campos de chave e valor. Defina os mapeamentos em um array JSON embutido no seguinte formato:
Descrição: Uma lista de mapeamentos de nomes de campo para campos de chave e valor usando expressões regulares. Defina os mapeamentos em um array JSON embutido no seguinte formato:
Valores aceitos: Um nome de classe Java totalmente qualificado
Estratégia de ID
Use as seguintes configurações para especificar como o conector MongoDB Kafka sink deve determinar o valor _id para cada documento que ele grava no MongoDB.
Valores aceitos: uma string vazia ou nome de classe Java totalmente qualificado
document.id.strategy.overwrite.existing
Tipo: booleano
Descrição: Se o conector deve substituir os valores existentes no campo _id quando aplica a estratégia definida pela propriedade document.id.strategy.
Padrão: false Valores aceitos: true ou false
document.id.strategy.uuid.format
Tipo: string
Descrição: se o conector deve produzir o UUID no _id campo no formato de string ou no formato BsonBinary.
Padrão: string Valores aceitos: string ou binary
delete.on.null.values
Tipo: booleano
Descrição: Se o connector deve ou não excluir documentos quando o valor da chave corresponder a um documento no MongoDB e o campo de valor for nulo.
Essa configuração se aplica quando você especifica uma estratégia de geração de ID que opera no documento de chave, como FullKeyStrategy, PartialKeyStrategy e ProvidedInKeyStrategy.
Padrão: false Valores aceitos: true ou false
Estratégia do modelo de escrita
Você pode definir propriedades de configuração para especificar como o de MongoDB Kafka coletor do connector grava dados no MongoDB. As seções a seguir descrevem as propriedades de configuração que você pode definir para personalizar este comportamento.
WriteModel
Configure a propriedade de configuração writemodel.strategy para especificar como o connector do coletor grava dados quando recebe um registro do coletor.
Você pode definir o valor de writemodel.strategy para qualquer um dos nomes de classe totalmente qualificados das estratégias de modelo de gravação descritas na seção Estratégias desta página. Você pode especificar uma estratégia definindo a seguinte configuração:
writemodel.strategy=<a write model strategy>
Excluir modelo de gravação
Configure a propriedade de configuração delete.writemodel.strategy para especificar como o connector do coletor grava dados quando recebe um evento de marca para exclusão. Um evento de marca de exclusão é um registro que contém uma chave, mas nenhum valor, o que significa um registro excluído.
Você pode definir o valor de delete.writemodel.strategy para qualquer um dos nomes de classe totalmente qualificados das estratégias de modelo de gravação descritas na seção Estratégias desta página. Você pode especificar uma estratégia definindo a seguinte configuração:
delete.writemodel.strategy=<a write model strategy>
Descrição: Por padrão, esta estratégia usa o ReplaceOneDefaultStrategy e o InsertOneDefaultStrategy se você definir a opção timeseries.timefield.
Este é o valor padrão para a propriedade de configuração writemodel.strategy.
InsertOneDefaultStrategy
Descrição: Insira cada registro de sink no MongoDB como um documento. Para especificar essa estratégia, defina a propriedade de configuração para o seguinte nome de classe:
Descrição: Substitui no máximo um documento no MongoDB que corresponde a um registro de sink pelo campo _id. Se nenhum documento corresponder, o conector inserirá o registro de sink como um novo documento. Para especificar essa estratégia, defina a propriedade de configuração para o seguinte nome de classe:
Descrição: Substitui no máximo um documento que corresponde a um registro de sink por uma chave comercial especificada. Se nenhum documento corresponder, o conector inserirá o registro de sink como um novo documento. Para especificar essa estratégia, defina a propriedade de configuração para o seguinte nome de classe:
Descrição: Exclui no máximo um documento que corresponda à estrutura de chave do seu conector de coletor pelo campo _id somente quando o documento contiver uma estrutura de valor nulo.
Este é o valor padrão para a propriedade de configuração delete.writemodel.strategy.
Essa estratégia é definida como o valor padrão da propriedade writemodel.strategy quando você define delete.on.null.values=true. Para especificar essa estratégia, defina a propriedade de configuração para o seguinte nome de classe:
Descrição: Exclui no máximo um documento do MongoDB que corresponde a um registro de coletor por uma chave comercial. Para especificar essa estratégia, defina a propriedade de configuração para o seguinte nome de classe:
Descrição: Atualiza no máximo um documento no MongoDB que corresponde a um registro de coletor pelo campo _id. Se nenhum documento corresponder, o conector inserirá o registro de sink como um novo documento. Para especificar essa estratégia, defina a propriedade de configuração para o seguinte nome de classe:
Descrição: Adicione os campos _insertedTS (carimbo de data/hora inserido) e _modifiedTS (carimbo de data/hora modificado) aos documentos. Para especificar essa estratégia, defina a propriedade de configuração para o seguinte nome de classe:
Descrição: Adicione _insertedTS (carimbo de data/hora inserido) e _modifiedTS (carimbo de data/hora modificado) campos em documentos que correspondem a uma chave comercial. Para especificar essa estratégia, defina a propriedade de configuração para o seguinte nome de classe:
Use as seguintes definições de configuração do conector do coletor do MongoDB Kafka para substituir as configurações de propriedade globais ou padrão para tópicos específicos.
Descrição: Especifique um tópico e um nome de propriedade para substituir a configuração de propriedade global ou padrão correspondente.
Por exemplo, a topic.override.foo.collection=bar configuração instrui o conector de coletor a armazenar dados do foo tópico na bar coleção.
Você pode especificar qualquer configuração válida no <propertyName> segmento connection.uri por topics tópico, exceto e.
Padrão: "" Valores aceitos: Valores aceitos específicos para a propriedade substituída
Alterar captura de dados
Use as seguintes definições de configuração para especificar uma classe que o de MongoDB Kafka coletor do connector usa para processar eventos de captura de dados de alteração (CDC).
Consulte o guia sobre Alterar manipuladores de captura de dados para obter exemplos usando o ChangeStreamHandler integrado e manipuladores para os produtores de evento Debezium e Qlik Replicate.
descrição: O nome da classe do manipulador CDC a ser usado para converter alterações em fluxos de eventos. Consulte Manipuladores CDC disponíveis para obter uma lista de manipuladores CDC.
Padrão: "" Valores aceitos: uma string vazia ou um nome de classe Java totalmente qualificado
Séries temporais
Use as seguintes definições de configuração para especificar como o conector de coletor do MongoDB Kafka deve coletar dados em uma coleção de séries temporais do MongoDB.
Descrição: O nome do campo de nível superior nos dados de origem que contém informações de tempo que você deseja associar ao novo documento na coleção de séries temporais.
Padrão: "" Valores aceitos: uma string vazia ou o nome de um campo que contém um valor BSON DateTime
timeseries.timefield.auto.converter.date.format
Type: string
Description: The date format pattern the connector should use to convert the source data contained in the field specified by the timeseries.timefield setting.
If the date value from the source data only contains date information, the connector sets the time information to the start of the specified day. If the date value does not contain the timezone offset, the connector sets the offset to UTC.
Valores aceitos: um formato DateTimeFormatter válido
timeseries.timefield.auto.converter
Tipo: booleano
Descrição: Se os dados no campo devem ser convertidos para o formato BSON Date.
Quando definido como true, o conector usa os milissegundos após a Era UNIX e descarta as partes fracionárias se o valor for um número. Se o valor for uma string, o conector usa a configuração a seguir para analisar a data:
timeseries.timefield.auto.convert.date.format
Se o conector não conseguir converter o valor, ele enviará o valor original para a coleção de séries temporais.
Description: Which DateTimeFormatter locale language tag to use with the date format pattern (e.g. "en-US").
To learn more about locales, see the Java SE documentation of Locale.
Default: ROOT Accepted Values: A valid Locale language tag format
timeseries.metafield
Tipo: string
Descrição: Qual campo de nível superior ler dos dados de origem para descrever um grupo de documentos de série temporal relacionados.
IMPORTANTE: Este campo não deve ser o campo _id nem o campo especificado na configuração timeseries.timefield.
Padrão: "" Valores aceitos: Uma string vazia ou o nome de um campo que contém qualquer tipo BSON, exceto BsonArray.
timeseries.expire.after.seconds
Type: int
Description: The number of seconds MongoDB should wait before automatically removing the time series collection data. The connector disables timed expiry when the setting value is less than 1.