Connectorエラー処理プロパティ

Overview

MongoDB Kafka Sink Connector がエラーを処理する方法を指定し、デッドレターキューを構成するには、次の構成設定を使用します。

カテゴリ別に整理された Sink Connector 構成設定のリストについては、「 Sink Connector 構成プロパティ」に関するガイドを参照してください。

設定

名前	説明
mongo.errors.tolerance	タイプ: string 説明: コネクターでエラーが発生した場合に、メッセージのプロセシングを続行するかどうか。コネクターで`errors.tolerance` Kafka クラスター設定を上書きできます。 `none`に設定すると、コネクターはエラーを報告し、残りのメッセージのその後のプロセシングをブロックします。 `all`に設定すると、コネクターは問題のあるメッセージを無視します。 `data`に設定すると、コネクターはデータエラーのみを許容し、その他のすべてのエラーで失敗します。エラー処理戦略の詳細については、エラーの取り扱いページを参照してください。このプロパティは、Connect Framework のerrors.tolerance プロパティを上書きます。デフォルト: `errors.tolerance` 設定から値を継承します。受け入れる値: `"none"` または `"all"`
mongo.errors.log.enable	タイプ: ブール値説明: コネクターが失敗した操作を含むエラーの詳細をログファイルに書き込むかどうか。コネクターは、`errors.tolerance` または `mongo.errors.tolerance` の設定を使用してエラーを「許容される」または「許容されない」に分類します。 `true` に設定すると、コネクターは「許容される」エラーと「許容されない」エラーの両方をログに記録します。 `false` に設定すると、コネクターは「許容されない」エラーをログに記録します。このプロパティは、Connect Framework の errors.log.enable プロパティより優先されます。 Connect Framework のプロパティ。デフォルト: `false` 受け入れる値: `true` または `false`
errors.log.include.message	タイプ: ブール値説明: コネクターがエラーをログする際に無効なメッセージを含めるかどうか。無効なメッセージには、レコードキー、値、ヘッダーなどのデータが含まれます。デフォルト: `false` 受け入れ可能な値: `true` または `false`
errors.readterqueue.token.name	Type: string Description: Name of topic to use as the dead letter queue. If blank, the connector does not send any invalid messages to the dead letter queue. To learn more about the dead letter queue, see the Dead Letter Queue Configuration Example. Default: `""` Accepted Values: A valid Kafka topic name
errors.readletterqueue.context.headers.enable	Type: boolean Description: Whether the connector should include context headers when it writes messages to the dead letter queue. To learn more about the dead letter queue, see the Dead Letter Queue Configuration Example. To learn about the exceptions the connector defines and reports through context headers, see Bulk Write Exceptions. Default: `false` Accepted Values: `true` or `false`
errors.readletterqueue.topi.replication.factor	Type: integer Description: The number of nodes on which to replicate the dead letter queue topic. If you are running a single-node Kafka cluster, you must set this to `1`. To learn more about the dead letter queue, see the Dead Letter Queue Configuration Example. Default: `3` Accepted Values: A valid number of nodes

一括書込みの例外

コネクタは、一括書き込みを実行するときに、デッドレターキューに次の例外をコンテキストヘッダーとして報告できます。

名前

説明

WriteException

説明:
コネクタで発生した BulkWriteError の詳細が含まれています。

メッセージ形式:

このクラスは、次の形式でエラーを出力します。

v=%d, code=%d, message=%s, details=%s

前のメッセージのフィールドには、次の情報が含まれています。

v: WriteExceptionメッセージ形式のバージョン。このフィールドは、この例外によって生成されたメッセージを解析するのに役立ちます。 connectorのバージョン2.0の場合、メッセージ形式のバージョンは1です。
code: エラーに関連付けられたコード。詳細については、getCode() メソッドのドキュメントを参照してください。
message: エラーに関連するメッセージです。詳細については、 getMessage() メソッドのドキュメントを参照してください。
details: JSON 形式のエラーに関連する詳細。詳しくは、次のメソッドのドキュメントを参照してください。
- get詳細()
- toJson()

WriteConcernException

説明:
コネクターで発生した WriteConcernError の詳細が含まれています。

メッセージ形式:

このクラスは、次の形式でエラーを出力します。

v=%d, code=%d, codeName=%d, message=%s, details=%s

前のメッセージのフィールドには、次の情報が含まれています。

v: WriteConcernExceptionメッセージ形式のバージョン。このフィールドは、この例外によって生成されたメッセージを解析するのに役立ちます。 connectorのバージョン2.0の場合、メッセージ形式のバージョンは1です。
code: エラーに関連付けられたコード。詳細については、getCode() メソッドのドキュメントを参照してください。
codeName: エラーに関連付けられたコード名。詳細については、getCodeName() メソッドのドキュメントを参照してください。
message: エラーに関連するメッセージです。詳細については、 getMessage() メソッドのドキュメントを参照してください。
details: JSON 形式のエラーに関連する詳細。詳しくは、次のメソッドのドキュメントを参照してください。
- get詳細()
- toJson()

WriteSkippedException

説明:
MongoDB が次のシナリオの一部として SinkRecord の書き込み (write) を試みませんであることを示しています。

コネクタは順序付き一括書込み操作を MongoDB に送信
MongoDB が順序付き一括書き込みで書き込み操作の処理に失敗します
MongoDB は、順序付き一括書き込みで後続のすべての書き込み操作の実行を試行しません

Connector を設定して非順序のバルク書き込み操作を実行する方法については、「Connector メッセージプロセシングプロパティ」ページを参照してください。
メッセージ形式:

この例外ではメッセージは生成されません。

デッドレターキューへの一括書込み (write) 例外のレポート作成を有効にするには、次のコネクター構成を使用します。

errors.tolerance=all
errors.deadletterqueue.topic.name=<name of topic to use as dead letter queue>
errors.deadletterqueue.context.headers.enable=true

デッド文字キューの構成例

Apache Kafka バージョン 2.6 では、誤ったレコードを処理するためのサポートが追加されました。 Kafka Connectorは、処理できないメッセージをデッドレターキューに自動的に送信します。デッドレターキューで再送信されると、エラーレコードを検査してアップデートし、処理のために再送信することができます。

以下は、デッドレターキュートピックexample.deadletterqueueを有効にするための構成の例です。この構成では、デッドレターキューとログファイルに無効なメッセージが記録されること、および、デッドレターキューメッセージにコンテキストヘッダーが含まれることを指定します。

mongo.errors.tolerance=all
mongo.errors.log.enable=true
errors.log.include.messages=true
errors.deadletterqueue.topic.name=example.deadletterqueue
errors.deadletterqueue.context.headers.enable=true

デッドレターキューについて詳しくは、「トピックへの書き込みエラーとエラーメッセージ」を参照してください。

戻る

Connectorメッセージ処理

ポストプロセッサ