/ /

Connector de sumidero

Propiedades de configuración

Docs Home

Herramientas

Kafka Connector

Connector de sumidero

Propiedades de configuración

Connector Error Handling Propiedades

Overview

Utiliza las siguientes configuraciones para especificar cómo el conector MongoDB Kafka sink maneja los errores y para configurar la fila de letra muerta.

Para una lista de configuraciones de conectores sumideros organizada por categoría, consulta la guía sobre Propiedades de configuración de conectores sumideros.

Configuraciones

Nombre	Descripción
mongo.errors.tolerance	Tipo: string Descripción: Si se debe continuar procesando mensajes si el conector encuentra un error. Permite que el conector anule la configuración del clúster de Kafka `errors.tolerance`. Cuando se establece en `none`, el conector informa cualquier error y bloquea el procesamiento posterior del resto de los mensajes. Cuando se establece en `all`, el conector ignora cualquier mensaje problemático. Cuando se establece en `data`, el conector tolera solo errores de datos y falla en todos los demás errores. Para obtener más información sobre las estrategias de gestión de errores, consulte la página Gestión de errores. Esta propiedad anula la propiedad errors.tolerance propiedad del Connect Framework. Por defecto: Hereda el valor de la configuración `errors.tolerance`. Valores aceptados: `"none"` o `"all"`
mongo.errors.log.enable	Tipo: booleano Descripción: Si el conector debe guardar los detalles de los errores, incluidas las operaciones fallidas, en el archivo de registro. El conector clasifica los errores como "tolerados" o "no tolerados" utilizando la configuración `errors.tolerance` o `mongo.errors.tolerance`. Cuando se establece en `true`, el conector registra los errores "tolerados" y "no tolerados". Cuando se establece en `false`, el conector registra los errores "no tolerados". Esta propiedad anula la errors.log.enable propiedad del Connect Framework. Por defecto: `false` Valores aceptados: `true` o `false`
Incluir mensajes	Tipo: booleano Descripción: Si el conector debe incluir el mensaje no válido al registrar un error. Un mensaje no válido incluye datos como claves de registro, valores y encabezados. Por defecto: `false` Valores aceptados: `true` o `false`
errors.deadletterqueue.tema.name	Tipo: string Descripción: Nombre del tema que se utilizará como fila de letra muerta. Si está en blanco, el conector no enviará ningún mensaje no válido a la fila de letra muerta. Para obtener más información sobre la fila de letra muerta, consulte el ejemplo de configuración de fila de letra muerta. Por defecto: `""` Valores aceptados: un nombre de tema de Kafka válido
errors.deadletterqueue.context.headers.enable	Tipo: booleano Descripción: Si el conector debe incluir encabezados de contexto al guardar mensajes en la fila de letra muerta. Para obtener más información sobre la fila de letra muerta, consulte el ejemplo de configuración de la fila de letra muerta. Para aprender sobre las excepciones que el conector define y notifica a través de los encabezados de contexto, consulte excepciones de guardar masiva. Por defecto: `false` Valores aceptados: `true` o `false`
errors.deadletterqueue.tema.replicación.factor	Tipo: entero Descripción: El número de nodos en los que se replica el tema de la fila de letra muerta. Si está ejecutando un clúster de Kafka de un solo nodo, debe establecerlo en `1`. Para obtener más información sobre la fila de letra muerta, consulte el ejemplo de configuración de la fila de letra muerta. Por defecto: `3` Valores aceptados: un número válido de nodos

Excepciones de guardado masivo

El conector puede informar las siguientes excepciones a tu fila de letra muerta como encabezados de contexto cuando realiza escrituras masivas:

Nombre

Descripción

WriteException

descripción:
Contiene detalles de un BulkWriteError que encontró el conector.

Formato de mensaje:

Esta clase muestra el error en el siguiente formato:

v=%d, code=%d, message=%s, details=%s

Los campos en el mensaje anterior contienen la siguiente información:

vLa versión del formato de mensaje WriteException. Este campo ayuda a analizar los mensajes producidos por esta excepción. Para la versión 2.1 del conector, la versión del formato del mensaje es 1.
codeEl código asociado con el error. Para aprender más, consulta la documentación del método getCode().
messageEl mensaje asociado al error. Para obtener más información, consulte la documentación del método getMessage().
detailsLos detalles asociados con el error en formato JSON. Para obtener más información, consulta la siguiente documentación del método:
- getDetails()
- toJson()

WriteConcernException

descripción:
Contiene detalles de un WriteConcernError que encontró su conector.

Formato del mensaje:

Esta clase muestra el error en el siguiente formato:

v=%d, code=%d, codeName=%d, message=%s, details=%s

Los campos en el mensaje anterior contienen la siguiente información:

vLa versión del formato de mensaje WriteConcernException. Este campo ayuda a analizar los mensajes producidos por esta excepción. Para la versión 2.1 del conector, la versión del formato del mensaje es 1.
codeEl código asociado con el error. Para aprender más, consulta la documentación del método getCode().
codeName: El código nombre asociado con el error. Para obtener más información, consulta la documentación del método getCodeName().
messageEl mensaje asociado al error. Para obtener más información, consulte la documentación del método getMessage().
detailsLos detalles asociados con el error en formato JSON. Para obtener más información, consulta la siguiente documentación del método:
- getDetails()
- toJson()

WriteSkippedException

descripción:
Informa que MongoDB no intentó guardar un SinkRecord como parte del siguiente escenario:

El conector envía una operación de escritura masiva ordenada a MongoDB
MongoDB no puede procesar una operación de escritura en la operación de escritura masiva ordenada
MongoDB no intenta realizar todas las operaciones de escritura posteriores en la escritura masiva ordenada

Para aprender a configurar el Connector para realizar operaciones de escritura masiva sin ordenar, consulta la página Propiedades de procesamiento de mensajes del Connector.
Formato de mensaje:

Esta excepción no genera ningún mensaje.

Para habilitar el reporte de excepciones de guardado masivo en la fila de letra muerta, utiliza la siguiente configuración del conector:

errors.tolerance=all
errors.deadletterqueue.topic.name=<name of topic to use as dead letter queue>
errors.deadletterqueue.context.headers.enable=true

Ejemplo de configuración de fila de letra muerta

La versión 2.6 de Apache Kafka añadió soporte para gestionar registros errantes. El conector de Kafka envía automáticamente los mensajes que no puede procesar a la fila de letra muerta. Una vez en la fila de letra muerta, puedes inspeccionar los registros erróneos, actualizarlos y volver a enviarlos para su procesamiento.

A continuación se muestra un ejemplo de configuración para habilitar el tema de la fila de letra muerta example.deadletterqueue. Esta configuración especifica que la fila de letra muerta y la entrada de registro deben registrar los mensajes no válidos, y que los mensajes de la fila de letra muerta deben incluir encabezados de contexto.

mongo.errors.tolerance=all
mongo.errors.log.enable=true
errors.log.include.messages=true
errors.deadletterqueue.topic.name=example.deadletterqueue
errors.deadletterqueue.context.headers.enable=true

Para obtener más información sobre las filas de letra muerta, consulte Guardar errores y mensajes errantes en un tema.

Volver

Procesamiento de mensajes del Connector

Postprocesadores