/ /

Conector de coletor

Propriedades de configuração

Página inicial do Docs

Ferramentas

Conector Kafka

Conector de coletor

Propriedades de configuração

Propriedades de tratamento de erros do conector

Visão geral

Use as seguintes definições de configuração para especificar como o conector do coletor do MongoDB Kafka lida com erros e para configurar a fila de letras mortas.

Para obter uma lista de definições de configuração do conector de coletor organizadas por categoria, consulte o guia sobre Propriedades de configuração do Connector de coletor.

Configurações

Nome	Descrição
mongo.errors.tolerance	Tipo: string Descrição: Se deve continuar processando mensagens se o conector encontrar um erro. Permite que o conector substitua a `errors.tolerance` configuração do cluster Kafka. Quando definido `none` como, o conector relata qualquer erro e bloqueia o processamento adicional do restante das mensagens. Quando configurado `all` para, o conector ignora quaisquer mensagens problemáticas. Quando definido `data` como, o conector tolera apenas erros de dados e falha em todos os outros erros. Para saber mais sobre estratégias de tratamento de erros, consulte a página Gerenciar erros. Esta propriedade substitui a propriedade errors.tolerance do Connect Framework. Padrão: herda o valor da configuração `errors.tolerance` . Valores aceitos: `"none"` ou `"all"`
mongo.errors.log.enable	Tipo: booleano Descrição: se o conector deve gravar detalhes de erros, incluindo operações com falha, no arquivo de log. O conector classifica os erros como "tolerado" ou "não tolerado" usando as `errors.tolerance` `mongo.errors.tolerance` configurações ou. Quando definido `true` como, o conector registra os erros "tolerado" e "não tolerado". Quando definido `false` como, o conector registra erros "não tolerados". Esta propriedade substitui a propriedade errors.log.enable do Connect Framework. Padrão: `false` Valores aceitos: `true` ou `false`
errors.log.include.messages	Tipo: booleano Descrição: Se o conector deve incluir a mensagem inválida ao registrar um erro. Uma mensagem inválida inclui dados como chaves de registro, valores e cabeçalhos. Padrão: `false` Valores aceitos: `true` ou `false`
errors.deadletterqueue.topic.name	Tipo: string Descrição: Nome do tópico a ser usado como fila de mensagens não entregues (DLQ). Se estiver em branco, o conector não enviará nenhuma mensagem inválida para a fila de mensagens não entregues (DLQ)). Para saber mais sobre a fila de mensagens não entregues (DLQ), consulte o Exemplo de configuração da fila de devoluções. Padrão: `""` Valores aceitos: um nome de tópico Kafka válido
errors.deadletterqueue.context.headers.enable	Tipo: booleano Descrição: se o conector deve incluir cabeçalhos de contexto ao escrever mensagens na fila de mensagens não entregues (DLQ). Para saber mais sobre a fila de mensagens não entregues (DLQ), consulte o Exemplo de configuração da fila de devoluções. Para saber mais sobre as exceções que o conector define e relata por meio de cabeçalhos de contexto, consulte Exceções de escrita em massa. Padrão: `false` Valores aceitos: `true` ou `false`
errors.deadletterqueue.topic.replication.factor	Tipo: número inteiro Descrição: o número de nós nos quais replicar o tópico da fila de mensagens não entregues (DLQ) . Se você estiver executando um cluster Kafka de nó único, deverá definir isso `1` como. Para saber mais sobre a fila de mensagens não entregues (DLQ), consulte o Exemplo de configuração da fila de devoluções. Padrão: `3` Valores aceitos: um número válido de nós

Exceções de gravação em massa

O connector pode relatar as seguintes exceções à sua fila de mensagens não entregues (DLQ) como cabeçalhos de contexto ao executar gravações em massa:

Nome

Descrição

WriteException

Descrição:
Contém detalhes de um BulkWriteError que seu conector encontrou.

Formato da Mensagem:

Esta classe gera o erro no seguinte formato:

v=%d, code=%d, message=%s, details=%s

Os campos na mensagem anterior contêm as seguintes informações:

v: a versão do formato de mensagem WriteException . Este campo ajuda a analisar as mensagens produzidas por esta exceção. Para a versão 1.14 do connector, a versão do formato da mensagem é 1.
code: o código associado ao erro. Para saber mais, consulte a documentação do método getCode().
message: a mensagem associada ao erro. Para saber mais, consulte a documentação do método getMessage().
details: Os detalhes associados ao erro no formato JSON. Para saber mais, consulte a seguinte documentação de método:
- getDetails()
- toJson()

WriteConcernException

Descrição:
Contém detalhes de um WriteConcernError que seu conector encontrou.

Formato da Mensagem:

Esta classe gera o erro no seguinte formato:

v=%d, code=%d, codeName=%d, message=%s, details=%s

Os campos na mensagem anterior contêm as seguintes informações:

v: a versão do formato de mensagem WriteConcernException . Este campo ajuda a analisar as mensagens produzidas por esta exceção. Para a versão 1.14 do connector, a versão do formato da mensagem é 1.
code: o código associado ao erro. Para saber mais, consulte a documentação do método getCode().
codeName: O nome do código associado ao erro. Para saber mais, consulte a documentação do método getCodeName().
message: a mensagem associada ao erro. Para saber mais, consulte a documentação do método getMessage().
details: Os detalhes associados ao erro no formato JSON. Para saber mais, consulte a seguinte documentação de método:
- getDetails()
- toJson()

WriteSkippedException

Descrição:
Informa que o MongoDB não tentou gravar um SinkRecord como parte do seguinte cenário:

O connector envia uma operação de gravação ordenada em massa para o MongoDB
MongoDB falha ao processar uma operação de gravação na gravação em massa ordenada
O MongoDB não tenta realizar todas as operações de gravação subsequentes na gravação em massa ordenada

Para saber como definir o conector para executar operações de gravação em massa não ordenadas, consulte a página Propriedades de processamento de
mensagens do conector. Formato da Mensagem:

Esta exceção não produz nenhuma mensagem.

Para habilitar o relatório de exceções de gravação em massa para a fila de mensagens não entregues (DLQ), use a seguinte configuração do connector:

errors.tolerance=all
errors.deadletterqueue.topic.name=<name of topic to use as dead letter queue>
errors.deadletterqueue.context.headers.enable=true

Exemplo de configuração de fila de mensagens não entregues (DLQ)

A versão 2.6 do Apache Kafka adicionou suporte para lidar com registros errôneos. O conector Kafka envia automaticamente mensagens que não pode processar para a fila de letras mortas . Uma vez na fila de letras mortas, você pode inspecionar os registros erráticos, atualizá-los e reenviá-los para processamento.

Veja a seguir um exemplo de configuração para ativar o tópico da fila de mensagens não entregues (DLQ) example.deadletterqueue. Essa configuração especifica que a dead letter queue e o arquivo de log devem registrar mensagens inválidas e que as mensagens da dead letter queue devem incluir cabeçalhos de contexto.

mongo.errors.tolerance=all
mongo.errors.log.enable=true
errors.log.include.messages=true
errors.deadletterqueue.topic.name=example.deadletterqueue
errors.deadletterqueue.context.headers.enable=true

Para saber mais sobre fila de mensagens não entregues (DLQ), consulte Escrever erros e mensagens errôneas em um tópico.

Voltar

Processamento de mensagens do conector

Pós-processadores