/ /

/ /

Connectorエラー処理プロパティ

Overview

MongoDB Kafka Sink Connector がエラーを処理する方法を指定し、デッドレターキューを構成するには、次の構成設定を使用します。

カテゴリ別に整理された Sink Connector 構成設定のリストについては、「 Sink Connector 構成プロパティ」に関するガイドを参照してください。

設定

名前	説明
mongo.errors.tolerance	タイプ: string 説明:コネクタがエラーを発生した場合にメッセージの処理を続行するかどうか。コネクタが`errors.tolerance` Kafkaクラスター設定を上書きできるようにします。 `none`に設定すると、コネクタはエラーを報告し、メッセージの残りの部分の処理をブロックします。に設定すると、コネクタは問題のあるメッセージを無視します。 `all`に設定すると、コネクタはデータエラーのみを許容し、他のすべてのエラーでは失敗します。エラー処理戦略の詳細については、「 `data` エラーの処理」ページを参照してください。このプロパティは、接続フレームワークの errors.toleranceプロパティを上書きします。デフォルト: `errors.tolerance` 設定から値を継承します。使用可能な値:`"none"` または`"all"`
mongo.errors.log.enable	タイプ:ブール値値説明:コネクタが失敗した操作を含むエラーの詳細をログファイルに書込むかどうか。 `errors.tolerancemongo.errors.tolerance` `true`コネクタは、または`false` 設定を使用して、エラーを「許容されている」または「許容されていない」として分類します。に設定すると、コネクタは「許容されている」エラーと「許容されていない」エラーの両方をログに記録します。に設定すると、コネクタは「許容されない」エラーをログに記録します。このプロパティはエラーを上書きします。接続フレームワークの.enableプロパティをログ。デフォルト:`false` 許容値:`true` または`false`
errors.log.include.message	タイプ:ブール値値説明:コネクタがエラーをログに記録するときに無効なメッセージを含めるかどうか。無効なメッセージには、レコードキー、値、ヘッダーなどのデータが含まれます。デフォルト: `false` 許容値:`true` または`false`
errors.readterqueue.token.name	タイプ: string 説明:デッドレターキュー (DLQ)として使用するトピックの名前。空白の場合、コネクタはデッドレターキュー (DLQ)に無効なメッセージを送信しません。デッドレターキュー (DLQ)の詳細については、「デッド文字キューの構成例」を参照してください。デフォルト: `""` 許容値: 有効なKafkaトピック名
errors.readletterqueue.context.headers.enable	タイプ:ブール値値説明:コネクタがデッドレターキュー(DLQ)にメッセージを書き込むときにコンテキストヘッダーを含めるかどうか。デッドレターキュー (DLQ)の詳細については、「デッド文字キューの構成例」を参照してください。コネクタが定義し、コンテキストヘッダーを通じて報告する例外の詳細については、「一括書込みの例外」を参照してください。デフォルト:`false` 許容値:`true` または`false`
errors.readletterqueue.topi.replication.factor	タイプ: 整数説明:デッドレターキュー (DLQ)トピックを複製するノードの数。単一ノードのKafkaクラスターを実行中いる場合は、これをに設定する必要があります。デッドレターキュー`1` (DLQ)の詳細については、「デッド文字キューの構成例」を参照してください。デフォルト:`3` 許容値: 有効なノード数

一括書込みの例外

コネクタは、一括書き込みを実行するときに、デッドレターキューに次の例外をコンテキストヘッダーとして報告できます。

名前

説明

WriteException

説明:
コネクタが発生した BulkWriteError

の詳細が含まれます。メッセージ形式:

このクラスは、次の形式でエラーを出力します。

v=%d, code=%d, message=%s, details=%s

前のメッセージのフィールドには、次の情報が含まれています。

v: WriteExceptionメッセージ形式のバージョン。このフィールドは、この例外によって生成されたメッセージを解析するのに役立ちます。 connectorのバージョン1.13の場合、メッセージ形式のバージョンは1です。
code: エラーに関連付けられたコード。詳細については、getCode() メソッドのドキュメントを参照してください。
message: エラーに関連するメッセージです。詳細については、 getMessage() メソッドのドキュメントを参照してください。
details: JSON 形式のエラーに関連する詳細。詳しくは、次のメソッドのドキュメントを参照してください。
- get詳細()
- toJson()

WriteConcernException

説明:
コネクタが発生した WriteConcernError

の詳細が含まれます。メッセージ形式:

このクラスは、次の形式でエラーを出力します。

v=%d, code=%d, codeName=%d, message=%s, details=%s

前のメッセージのフィールドには、次の情報が含まれています。

v: WriteConcernExceptionメッセージ形式のバージョン。このフィールドは、この例外によって生成されたメッセージを解析するのに役立ちます。 connectorのバージョン1.13の場合、メッセージ形式のバージョンは1です。
code: エラーに関連付けられたコード。詳細については、getCode() メソッドのドキュメントを参照してください。
codeName: エラーに関連付けられたコード名。詳細については、getCodeName() メソッドのドキュメントを参照してください。
message: エラーに関連するメッセージです。詳細については、 getMessage() メソッドのドキュメントを参照してください。
details: JSON 形式のエラーに関連する詳細。詳しくは、次のメソッドのドキュメントを参照してください。
- get詳細()
- toJson()

WriteSkippedException

説明:
MongoDB が次のシナリオの一部としてSinkRecord の書込みを試行しなかったことを示します。

コネクタは順序付き一括書込み操作を MongoDB に送信
MongoDB が順序付き一括書き込みで書き込み操作の処理に失敗します
MongoDB は、順序付き一括書き込みで後続のすべての書き込み操作の実行を試行しません

順序なし一括書き込み操作を実行するようにコネクタを設定する方法については、「コネクターメッセージ処理プロパティ
」ページを参照してください。メッセージ形式:

この例外ではメッセージは生成されません。

デッドレターキューへの一括書込み (write) 例外のレポート作成を有効にするには、次のコネクター構成を使用します。

errors.tolerance=all
errors.deadletterqueue.topic.name=<name of topic to use as dead letter queue>
errors.deadletterqueue.context.headers.enable=true

デッド文字キューの構成例

Apache Kafka バージョン 2.6 では、誤ったレコードを処理するためのサポートが追加されました。 Kafka Connectorは、処理できないメッセージをデッドレターキューに自動的に送信します。デッドレターキューで再送信されると、エラーレコードを検査してアップデートし、処理のために再送信することができます。

以下は、デッドレターキュートピックexample.deadletterqueueを有効にするための構成の例です。この構成では、デッドレターキューとログファイルに無効なメッセージが記録されること、および、デッドレターキューメッセージにコンテキストヘッダーが含まれることを指定します。

mongo.errors.tolerance=all
mongo.errors.log.enable=true
errors.log.include.messages=true
errors.deadletterqueue.topic.name=example.deadletterqueue
errors.deadletterqueue.context.headers.enable=true

デッドレターキューについて詳しくは、「トピックへの書き込みエラーとエラーメッセージ」を参照してください。

戻る

Connectorメッセージ処理

ポストプロセッサ