/ /

/ /

Connectorエラー処理プロパティ

Overview

MongoDB Kafka Sink Connector がエラーを処理する方法を指定し、デッドレターキューを構成するには、次の構成設定を使用します。

カテゴリ別に整理された Sink Connector 構成設定のリストについては、「 Sink Connector 構成プロパティ」に関するガイドを参照してください。

設定

名前	説明
mongo.errors.tolerance	タイプ: string 説明:コネクタがエラーを発生した場合にメッセージの処理を続行するかどうか。コネクタが`errors.tolerance` Kafkaクラスター設定を上書きできるようにします。 `none`に設定すると、コネクタはエラーを報告し、メッセージの残りの部分の処理をブロックします。に設定すると、コネクタは問題のあるメッセージを無視します。 `all`に設定すると、コネクタはデータエラーのみを許容し、他のすべてのエラーでは失敗します。エラー処理戦略の詳細については、「 `data` エラーの処理」ページを参照してください。このプロパティは、接続フレームワークの errors.toleranceプロパティを上書きします。デフォルト: `errors.tolerance` 設定から値を継承します。使用可能な値:`"none"` または`"all"`
mongo.errors.log.enable	タイプ:ブール値値説明:コネクタが失敗した操作を含むエラーの詳細をログファイルに書込むかどうか。コネクタはエラーを "totalated"`errors.tolerance` `mongo.errors.tolerance`として分類します。または `true`"許可されていない" とまたは設定を使用します。に設定すると、コネクタは両方のをログに記録します。および"許可されていない" `false`のエラー。に設定すると、コネクタは「許可されていない」ことをログに記録します。エラー。このプロパティはエラーを上書きします。接続フレームワークの .enableプロパティをログ。デフォルト:`false` 許容値:`true` または`false`
errors.log.include.message	タイプ: ブール値説明: コネクターがエラーをログする際に無効なメッセージを含めるかどうか。無効なメッセージには、レコードキー、値、ヘッダーなどのデータが含まれます。デフォルト: `false` 受け入れ可能な値: `true` または `false`
errors.readterqueue.token.name	タイプ: string 説明:デッドレターキュー (DLQ)として使用するトピックの名前。空白の場合、コネクタはデッドレターキュー (DLQ)に無効なメッセージを送信しません。デッドレターキュー (DLQ)の詳細については、「デッド文字キューの構成例」を参照してください。デフォルト: `""` 許容値: 有効なKafkaトピック名
errors.readletterqueue.context.headers.enable	Type: boolean Description: Whether the connector should include context headers when it writes messages to the dead letter queue. To learn more about the dead letter queue, see the Dead Letter Queue Configuration Example. To learn about the exceptions the connector defines and reports through context headers, see Bulk Write Exceptions. Default: `false` Accepted Values: `true` or `false`
errors.readletterqueue.topi.replication.factor	タイプ: 整数説明:デッドレターキュー (DLQ)トピックを複製するノードの数。単一ノードのKafkaクラスターを実行中いる場合は、これをに設定する必要があります。デッドレターキュー`1` (DLQ)の詳細については、「デッド文字キューの構成例」を参照してください。デフォルト:`3` 許容値: 有効なノード数

一括書込みの例外

コネクタは、一括書き込みを実行するときに、デッドレターキューに次の例外をコンテキストヘッダーとして報告できます。

名前

説明

WriteException

説明:
コネクタが発生した BulkWriteError

の詳細が含まれます。メッセージ形式:

このクラスは、次の形式でエラーを出力します。

v=%d, code=%d, message=%s, details=%s

前のメッセージのフィールドには、次の情報が含まれています。

v: WriteExceptionメッセージ形式のバージョン。このフィールドは、この例外によって生成されたメッセージを解析するのに役立ちます。 connectorのバージョン1.13の場合、メッセージ形式のバージョンは1です。
code: エラーに関連付けられたコード。詳細については、getCode() メソッドのドキュメントを参照してください。
message: エラーに関連するメッセージです。詳細については、 getMessage() メソッドのドキュメントを参照してください。
details: JSON 形式のエラーに関連する詳細。詳しくは、次のメソッドのドキュメントを参照してください。
- get詳細()
- toJson()

WriteConcernException

説明:
Contains details of a WriteConcernError your connector encountered.

Message Format:

このクラスは、次の形式でエラーを出力します。

v=%d, code=%d, codeName=%d, message=%s, details=%s

前のメッセージのフィールドには、次の情報が含まれています。

v: WriteConcernExceptionメッセージ形式のバージョン。このフィールドは、この例外によって生成されたメッセージを解析するのに役立ちます。 connectorのバージョン1.13の場合、メッセージ形式のバージョンは1です。
code: エラーに関連付けられたコード。詳細については、getCode() メソッドのドキュメントを参照してください。
codeName: エラーに関連付けられたコード名。詳細については、 getCodeName() のメソッドのドキュメントを参照してください。
message: エラーに関連するメッセージです。詳細については、 getMessage() メソッドのドキュメントを参照してください。
details: JSON 形式のエラーに関連する詳細。詳しくは、次のメソッドのドキュメントを参照してください。
- get詳細()
- toJson()

WriteSkippedException

説明:
MongoDB が次のシナリオの一部として SinkRecord の書き込み (write) を試みませんであることを示しています。

コネクタは順序付き一括書込み操作を MongoDB に送信
MongoDB が順序付き一括書き込みで書き込み操作の処理に失敗します
MongoDB は、順序付き一括書き込みで後続のすべての書き込み操作の実行を試行しません

Connector を設定して非順序のバルク書き込み操作を実行する方法については、「Connector メッセージプロセシングプロパティ」ページを参照してください。
メッセージ形式:

この例外ではメッセージは生成されません。

デッドレターキューへの一括書込み (write) 例外のレポート作成を有効にするには、次のコネクター構成を使用します。

errors.tolerance=all
errors.deadletterqueue.topic.name=<name of topic to use as dead letter queue>
errors.deadletterqueue.context.headers.enable=true

デッド文字キューの構成例

Apache Kafka バージョン 2.6 では、誤ったレコードを処理するためのサポートが追加されました。 Kafka Connectorは、処理できないメッセージをデッドレターキューに自動的に送信します。デッドレターキューで再送信されると、エラーレコードを検査してアップデートし、処理のために再送信することができます。

以下は、デッドレターキュートピックexample.deadletterqueueを有効にするための構成の例です。この構成では、デッドレターキューとログファイルに無効なメッセージが記録されること、および、デッドレターキューメッセージにコンテキストヘッダーが含まれることを指定します。

mongo.errors.tolerance=all
mongo.errors.log.enable=true
errors.log.include.messages=true
errors.deadletterqueue.topic.name=example.deadletterqueue
errors.deadletterqueue.context.headers.enable=true

デッドレターキューについて詳しくは、「トピックへの書き込みエラーとエラーメッセージ」を参照してください。