/ /

Connector de sumidero

Propiedades de configuración

Docs Home

Herramientas

Kafka Connector

Connector de sumidero

Propiedades de configuración

Connector Error Handling Propiedades

Overview

Utiliza las siguientes configuraciones para especificar cómo el conector MongoDB Kafka sink maneja los errores y para configurar la fila de letra muerta.

Para una lista de configuraciones de conectores sumideros organizada por categoría, consulta la guía sobre Propiedades de configuración de conectores sumideros.

Configuraciones

Nombre	Descripción
mongo.errors.tolerance	Tipo: cadena Descripción: Indica si se deben continuar procesando los mensajes si el conector encuentra un error. Permite que el conector anule la `errors.tolerance` configuración del clúster de Kafka. Cuando se establece `none` en, el conector informa de cualquier error y bloquea el procesamiento posterior del resto de los mensajes. Cuando se establece `all` en, el conector ignora cualquier mensaje problemático. Cuando se establece `data` en, el conector tolera solo errores de datos y falla ante cualquier otro error. Para obtener más información sobre las estrategias de manejo de errores, consulte la página Manejo de errores. Esta propiedad anula la propiedad errors.tolerance del Connect Framework. Predeterminado: Hereda el valor de la `errors.tolerance` configuración. Valores aceptados: `"none"` o `"all"`
mongo.errors.log.enable	Tipo: booleano Descripción: Indica si el conector debe escribir detalles de errores, incluidas las operaciones fallidas, en el archivo de registro. El conector clasifica los errores como "tolerados" o "no tolerados" utilizando las `errors.tolerance` configuraciones `mongo.errors.tolerance` o. Cuando se establece `true` en, el conector registra tanto los errores "tolerados" como los "no tolerados". Cuando `false` se establece en, el conector registra los errores "no tolerados". Esta propiedad anula la propiedad errors.log.enable del Connect Framework. Valor predeterminado: `false` Valores aceptados: `true` o `false`
Incluir mensajes	Tipo: booleano Descripción: Si el conector debe incluir el mensaje no válido al registrar un error. Un mensaje no válido incluye datos como claves de registro, valores y encabezados. Por defecto: `false` Valores aceptados: `true` o `false`
errors.deadletterqueue.tema.name	Tipo: cadena Descripción: Nombre del tema que se utilizará como cola de mensajes no entregados. Si está en blanco, el conector no enviará ningún mensaje no válido a la cola de mensajes no entregados. Para obtener más información sobre la cola de mensajes no entregados, consulte el Ejemplo de configuración de la cola de mensajes no entregados. `""` Valor predeterminado: Valores aceptados: Un nombre de tema de Kafka válido
errors.deadletterqueue.context.headers.enable	Type: boolean Description: Whether the connector should include context headers when it writes messages to the dead letter queue. To learn more about the dead letter queue, see the Dead Letter Queue Configuration Example. To learn about the exceptions the connector defines and reports through context headers, see Bulk Write Exceptions. Default: `false` Accepted Values: `true` or `false`
errors.deadletterqueue.tema.replicación.factor	Tipo: entero Descripción: Número de nodos en los que se replicará el tema de la cola de mensajes fallidos. Si está ejecutando un clúster Kafka de un solo nodo, debe establecer este valor `1` en. Para obtener más información sobre la cola de mensajes fallidos, consulte el Ejemplo de configuración de la cola de mensajes fallidos. `3` Valor predeterminado: Valores aceptados: Un número válido de nodos

Excepciones de guardado masivo

El conector puede informar las siguientes excepciones a tu fila de letra muerta como encabezados de contexto cuando realiza escrituras masivas:

Nombre

Descripción

WriteException

descripción:
Contiene detalles de un error BulkWriteError que encontró su conector.

Formato del mensaje:

Esta clase muestra el error en el siguiente formato:

v=%d, code=%d, message=%s, details=%s

Los campos en el mensaje anterior contienen la siguiente información:

vLa versión del formato de mensaje WriteException. Este campo ayuda a analizar los mensajes producidos por esta excepción. Para la versión 1.13 del conector, la versión del formato del mensaje es 1.
codeEl código asociado con el error. Para aprender más, consulta la documentación del método getCode() .
messageEl mensaje asociado al error. Para obtener más información, consulte la documentación del método getMessage().
detailsLos detalles asociados con el error en formato JSON. Para obtener más información, consulta la siguiente documentación del método:
- getDetails()
- toJson()

WriteConcernException

descripción:
Contains details of a WriteConcernError your connector encountered.

Message Format:

Esta clase muestra el error en el siguiente formato:

v=%d, code=%d, codeName=%d, message=%s, details=%s

Los campos en el mensaje anterior contienen la siguiente información:

vLa versión del formato de mensaje WriteConcernException. Este campo ayuda a analizar los mensajes producidos por esta excepción. Para la versión 1.13 del conector, la versión del formato del mensaje es 1.
codeEl código asociado con el error. Para aprender más, consulta la documentación del método getCode() .
codeName: El nombre en clave asociado con el error. Para obtener más información, consulta la documentación del método getCodeName().
messageEl mensaje asociado al error. Para obtener más información, consulte la documentación del método getMessage().
detailsLos detalles asociados con el error en formato JSON. Para obtener más información, consulta la siguiente documentación del método:
- getDetails()
- toJson()

WriteSkippedException

descripción:
Informa que MongoDB no intentó guardar un SinkRecord como parte del siguiente escenario:

El conector envía una operación de escritura masiva ordenada a MongoDB
MongoDB no puede procesar una operación de escritura en la operación de escritura masiva ordenada
MongoDB no intenta realizar todas las operaciones de escritura posteriores en la escritura masiva ordenada

Para aprender a configurar el Connector para realizar operaciones de escritura masiva sin ordenar, consulta la página Propiedades de procesamiento de mensajes del Connector.
Formato de mensaje:

Esta excepción no genera ningún mensaje.

Para habilitar el reporte de excepciones de guardado masivo en la fila de letra muerta, utiliza la siguiente configuración del conector:

errors.tolerance=all
errors.deadletterqueue.topic.name=<name of topic to use as dead letter queue>
errors.deadletterqueue.context.headers.enable=true

Ejemplo de configuración de fila de letra muerta

La versión 2.6 de Apache Kafka añadió soporte para gestionar registros errantes. El conector de Kafka envía automáticamente los mensajes que no puede procesar a la fila de letra muerta. Una vez en la fila de letra muerta, puedes inspeccionar los registros erróneos, actualizarlos y volver a enviarlos para su procesamiento.

A continuación se muestra un ejemplo de configuración para habilitar el tema de la fila de letra muerta example.deadletterqueue. Esta configuración especifica que la fila de letra muerta y la entrada de registro deben registrar los mensajes no válidos, y que los mensajes de la fila de letra muerta deben incluir encabezados de contexto.

mongo.errors.tolerance=all
mongo.errors.log.enable=true
errors.log.include.messages=true
errors.deadletterqueue.topic.name=example.deadletterqueue
errors.deadletterqueue.context.headers.enable=true

Para obtener más información sobre las filas de letra muerta, consulte Guardar errores y mensajes errantes en un tema.