/ /

Connector de sumidero

Propiedades de configuración

Docs Home

Herramientas

Kafka Connector

Connector de sumidero

Propiedades de configuración

Connector Error Handling Propiedades

Overview

Utiliza las siguientes configuraciones para especificar cómo el conector MongoDB Kafka sink maneja los errores y para configurar la fila de letra muerta.

Para una lista de configuraciones de conectores sumideros organizada por categoría, consulta la guía sobre Propiedades de configuración de conectores sumideros.

Configuraciones

Nombre	Descripción
mongo.errors.tolerance	Tipo: cadena Descripción: Indica si se deben continuar procesando los mensajes si el conector encuentra un error. Permite que el conector anule la `errors.tolerance` configuración del clúster de Kafka. Cuando se establece `none` en, el conector informa de cualquier error y bloquea el procesamiento posterior del resto de los mensajes. Cuando se establece `all` en, el conector ignora cualquier mensaje problemático. Cuando se establece `data` en, el conector tolera solo errores de datos y falla ante cualquier otro error. Para obtener más información sobre las estrategias de manejo de errores, consulte la página Manejo de errores. Esta propiedad anula la propiedad errors.tolerance del Connect Framework. Predeterminado: Hereda el valor de la `errors.tolerance` configuración. Valores aceptados: `"none"` o `"all"`
mongo.errors.log.enable	Tipo: booleano Descripción: Indica si el conector debe escribir detalles de errores, incluidas las operaciones fallidas, en el archivo de registro. El conector clasifica los errores como "tolerados" o "no tolerados" mediante las `errors.tolerance` `mongo.errors.tolerance` configuraciones o. Cuando `true` se establece en, el conector registra tanto los errores "tolerados" como los "no tolerados". Cuando `false` se establece en, el conector registra los errores "no tolerados". Esta propiedad anula la propiedad errors.log.enable del Connect Framework. `false` Valor predeterminado: Valores aceptados: `true` o `false`
Incluir mensajes	Tipo: booleano Descripción: Indica si el conector debe incluir el mensaje de error al registrar un error. Un mensaje de error incluye datos como claves, valores y encabezados de registro. `false` Valor predeterminado: Valores aceptados: `true` o `false`
errors.deadletterqueue.tema.name	Tipo: cadena Descripción: Nombre del tema que se utilizará como cola de mensajes no entregados. Si está en blanco, el conector no enviará ningún mensaje no válido a la cola de mensajes no entregados. Para obtener más información sobre la cola de mensajes no entregados, consulte el Ejemplo de configuración de la cola de mensajes no entregados. `""` Valor predeterminado: Valores aceptados: Un nombre de tema de Kafka válido
errors.deadletterqueue.context.headers.enable	Tipo: booleano Descripción: Indica si el conector debe incluir encabezados de contexto al escribir mensajes en la cola de mensajes no entregados. Para obtener más información sobre la cola de mensajes no entregados, consulte el Ejemplo de configuración de la cola de mensajes no entregados. Para obtener más información sobre las excepciones que el conector define e informa a través de los encabezados de contexto, consulte Excepciones de escritura masiva. `false` Valor predeterminado: Valores aceptados: `true` o `false`
errors.deadletterqueue.tema.replicación.factor	Tipo: entero Descripción: Número de nodos en los que se replicará el tema de la cola de mensajes fallidos. Si está ejecutando un clúster Kafka de un solo nodo, debe establecer este valor `1` en. Para obtener más información sobre la cola de mensajes fallidos, consulte el Ejemplo de configuración de la cola de mensajes fallidos. `3` Valor predeterminado: Valores aceptados: Un número válido de nodos

Excepciones de guardado masivo

El conector puede informar las siguientes excepciones a tu fila de letra muerta como encabezados de contexto cuando realiza escrituras masivas:

Nombre

Descripción

WriteException

descripción:
Contiene detalles de un error BulkWriteError que encontró su conector.

Formato del mensaje:

Esta clase muestra el error en el siguiente formato:

v=%d, code=%d, message=%s, details=%s

Los campos en el mensaje anterior contienen la siguiente información:

vLa versión del formato de mensaje WriteException. Este campo ayuda a analizar los mensajes producidos por esta excepción. Para la versión 2.0 del conector, la versión del formato del mensaje es 1.
codeEl código asociado con el error. Para aprender más, consulta la documentación del método getCode().
messageEl mensaje asociado al error. Para obtener más información, consulte la documentación del método getMessage().
detailsLos detalles asociados con el error en formato JSON. Para obtener más información, consulta la siguiente documentación del método:
- getDetails()
- toJson()

WriteConcernException

descripción:
Contiene detalles de un WriteConcernError que encontró su conector.

Formato del mensaje:

Esta clase muestra el error en el siguiente formato:

v=%d, code=%d, codeName=%d, message=%s, details=%s

Los campos en el mensaje anterior contienen la siguiente información:

vLa versión del formato de mensaje WriteConcernException. Este campo ayuda a analizar los mensajes producidos por esta excepción. Para la versión 2.0 del conector, la versión del formato del mensaje es 1.
codeEl código asociado con el error. Para aprender más, consulta la documentación del método getCode().
codeName: El código nombre asociado con el error. Para obtener más información, consulta la documentación del método getCodeName().
messageEl mensaje asociado al error. Para obtener más información, consulte la documentación del método getMessage().
detailsLos detalles asociados con el error en formato JSON. Para obtener más información, consulta la siguiente documentación del método:
- getDetails()
- toJson()

WriteSkippedException

descripción:
Informa que MongoDB no intentó escribir un SinkRecord como parte del siguiente escenario:

El conector envía una operación de escritura masiva ordenada a MongoDB
MongoDB no puede procesar una operación de escritura en la operación de escritura masiva ordenada
MongoDB no intenta realizar todas las operaciones de escritura posteriores en la escritura masiva ordenada

Para aprender a configurar el conector para realizar operaciones de escritura masiva no ordenadas, consulte la página Propiedades de procesamiento de
mensajes del conector. Formato del mensaje:

Esta excepción no genera ningún mensaje.

Para habilitar el reporte de excepciones de guardado masivo en la fila de letra muerta, utiliza la siguiente configuración del conector:

errors.tolerance=all
errors.deadletterqueue.topic.name=<name of topic to use as dead letter queue>
errors.deadletterqueue.context.headers.enable=true

Ejemplo de configuración de fila de letra muerta

La versión 2.6 de Apache Kafka añadió soporte para gestionar registros errantes. El conector de Kafka envía automáticamente los mensajes que no puede procesar a la fila de letra muerta. Una vez en la fila de letra muerta, puedes inspeccionar los registros erróneos, actualizarlos y volver a enviarlos para su procesamiento.

A continuación se muestra un ejemplo de configuración para habilitar el tema de la fila de letra muerta example.deadletterqueue. Esta configuración especifica que la fila de letra muerta y la entrada de registro deben registrar los mensajes no válidos, y que los mensajes de la fila de letra muerta deben incluir encabezados de contexto.

mongo.errors.tolerance=all
mongo.errors.log.enable=true
errors.log.include.messages=true
errors.deadletterqueue.topic.name=example.deadletterqueue
errors.deadletterqueue.context.headers.enable=true

Para obtener más información sobre las filas de letra muerta, consulte Guardar errores y mensajes errantes en un tema.

Volver

Procesamiento de mensajes del Connector

Postprocesadores