/ /

/ /

커넥터 오류 처리 속성

개요

다음 구성 설정을 사용하여 MongoDB Kafka connector가 오류를 처리하는 방법을 지정하고 데드 레터 큐를 구성합니다.

카테고리별로 정리된 싱크 connector 구성 설정 목록은 싱크 Connector 구성 속성가이드 를 참조하세요.

설정

이름	설명
mongo.errors.tolerance	유형: 문자열 설명: connector 오류가 발생하는 경우 메시지를 계속 처리 할지 여부입니다. connector `errors.tolerance` Kafka 클러스터 설정을 재정의할 수 있도록 허용합니다. 로 설정하다 `none` 하면 connector 는 오류를 보고하고 나머지 메시지의 추가 처리 차단합니다. 로 설정하다 `all` 하면 connector 는 문제가 있는 메시지를 무시합니다. 로 설정하다 `data` 하면 connector 데이터 오류만 허용하고 다른 모든 오류에서는 실패합니다. 오류 처리 전략에 대해 자세히 학습 오류 처리 페이지를 참조하세요. 이 속성 연결 프레임워크의 errors.tolerance 속성 재정의합니다. 기본값:`errors.tolerance` 설정에서 값을 상속합니다. 허용되는 값: `"none"` 또는 `"all"`
mongo.errors.log.enable	유형: 부울 설명: connector 실패한 작업을 포함한 오류의 세부 정보를 로그 파일 에 쓰기 (write) 할지 여부입니다. connector 는 `errors.tolerance` 또는 설정을 사용하여 오류를 '허용됨' 또는 '허용되지 않음'으로 `mongo.errors.tolerance` 분류합니다. 로 설정하다 `true` 하면 connector 는 '허용되는' 오류와 '허용되지 않는' 오류를 모두 기록합니다. 로 설정하다 `false` 하면 connector 는 '허용되지 않음' 오류를 기록합니다. 이 속성 오류를 재정의합니다.로그. 연결 프레임워크의 `false` 활성화 속성 . 기본값: 허용되는 값: `true` 또는 `false`
errors.log.include.message	유형: 부울 설명: connector 오류를 기록할 때 잘못된 메시지를 포함할지 여부입니다. 잘못된 메시지에는 기록 키, 값, 헤더 등의 데이터가 포함됩니다. 기본값: `false` 허용되는 값: `true` 또는 `false`
errors.deadletterqueue.topic.name	유형: string 설명: 데드 레터 큐로 사용할 주제의 이름입니다. 빈 칸이면 커넥터는 유효하지 않은 메시지를 데드 레터 큐에 보내지 않습니다. 데드 레터 큐에 대해 자세히 알아보려면 데드 레터 큐 구성 예시를 참조하세요. 기본값: `""` 허용되는 값: 유효한 Kafka 주제 이름
errors.deadletterqueue.context.headers.enable	유형: 불리언 설명: 커넥터가 데드 레터 큐에 메시지를 쓰는 경우 컨텍스트 헤더를 포함해야 합니까? 데드 레터 큐에 대해 자세히 알아보려면 데드 레터 큐 구성 예시를 참조하세요. 커넥터가 정의하고 컨텍스트 헤더를 통해 보고하는 예외에 대해 알아보려면 대량 쓰기 예외를 참조하세요. 기본값: `false` 허용 값: `true` 또는 `false`
errors.deadletterqueue.topic.replication.factor	유형: 정수 설명: 데드 레터 큐 주제를 복제할 노드 수입니다. 단일 노드 Kafka 클러스터를 실행하는 경우 이 값을 `1`으로 설정해야 합니다. 데드 레터 큐에 대해 자세히 학습하려면 데드 레터 큐 구성 예시를 참조하세요. 기본값: `3` 허용 값: 유효한 노드 수

대량 쓰기 예외

connector는 대량 쓰기를 수행할 때 데드 레터 큐에 다음과 같은 예외를 컨텍스트 헤더로 보고할 수 있습니다.

이름

설명

WriteException

설명:connector
에서 발생한 BulkWriteError의 세부 정보가 포함되어 있습니다.

메시지 형식:

이 클래스는 다음 형식으로 오류를 출력합니다.

v=%d, code=%d, message=%s, details=%s

이전 메시지의 필드에는 다음 정보가 포함되어 있습니다.

v: WriteException 메시지 형식의 버전입니다. 이 필드는 이 예외로 인해 생성된 메시지를 구문 분석하는 데 도움이 됩니다. connector 버전 2.1 의 경우 메시지 형식의 버전은 1입니다.
code: 오류와 관련된 코드입니다. 자세한 학습 은 getCode() 메서드 문서를 참조하세요.
message: 오류와 관련된 메시지입니다. 자세한 학습 은 getMessage() 메서드 설명서를 참조하세요.
details: 오류와 관련된 세부 정보(JSON 형식)입니다. 자세한 내용은 다음 메서드 문서를 참조하세요.
- getDetails()
- toJson()

WriteConcernException

설명:connector
에서 발생한 WriteConcernError의 세부 정보를 포함합니다.

메시지 형식:

이 클래스는 다음 형식으로 오류를 출력합니다.

v=%d, code=%d, codeName=%d, message=%s, details=%s

이전 메시지의 필드에는 다음 정보가 포함되어 있습니다.

v: WriteConcernException 메시지 형식의 버전입니다. 이 필드는 이 예외로 인해 생성된 메시지를 구문 분석하는 데 도움이 됩니다. connector 버전 2.1 의 경우 메시지 형식의 버전은 1입니다.
code: 오류와 관련된 코드입니다. 자세한 학습 은 getCode() 메서드 문서를 참조하세요.
codeName: 오류와 관련된 코드 이름입니다. 자세한 학습 은 getCodeName() 메서드 설명서를 참조하세요.
message: 오류와 관련된 메시지입니다. 자세한 학습 은 getMessage() 메서드 설명서를 참조하세요.
details: 오류와 관련된 세부 정보(JSON 형식)입니다. 자세한 내용은 다음 메서드 문서를 참조하세요.
- getDetails()
- toJson()

WriteSkippedException

설명:MongoDB 다음 시나리오의 일부로
쓰기 (write) 를 시도하지 않았음을 알립니다.SinkRecord

connector는 순서가 지정된 대량 쓰기 작업을 MongoDB로 보냅니다.
MongoDB가 순서가 지정된 대량 쓰기에서 쓰기 작업을 처리하지 못합니다.
MongoDB는 순서가 지정된 대량 쓰기에서 모든 후속 쓰기 작업을 수행하려고 시도하지 않습니다.

순서가 지정되지 않은 대량 쓰기 (write) 작업을 수행하도록 connector 설정하다 방법을 학습 커넥터 메시지 처리 속성 페이지를 참조하세요.
메시지 형식:

이 예외는 메시지를 생성하지 않습니다.

데드 레터 큐에 대한 대량 쓰기 예외 보고를 활성화하려면 다음 connector 구성을 사용합니다.

errors.tolerance=all
errors.deadletterqueue.topic.name=<name of topic to use as dead letter queue>
errors.deadletterqueue.context.headers.enable=true

데드 레터 큐 구성 예시

Apache Kafka 버전 2.6에는 잘못된 레코드 처리에 대한 지원이 추가되었습니다. Kafka Connector는 처리할 수 없는 메시지를 데드 레터 큐로 자동으로 보냅니다. 데드 레터 큐에 추가되면 잘못된 기록을 검사하고 업데이트하고 처리를 위해 다시 제출할 수 있습니다.

다음은 데드 레터 큐 주제 example.deadletterqueue 를 활성화하기 위한 구성 예시입니다. 이 구성은 데드 레터 큐 및 로그 파일에 유효하지 않은 메시지를 기록하고 데드 레터 큐 메시지에 컨텍스트 헤더를 포함하도록 지정합니다.

mongo.errors.tolerance=all
mongo.errors.log.enable=true
errors.log.include.messages=true
errors.deadletterqueue.topic.name=example.deadletterqueue
errors.deadletterqueue.context.headers.enable=true

데드 레터 큐에 대해 자세히 알아보려면 주제에 오류 및 잘못된 메시지 쓰기를 참조하세요.

돌아가기

커넥터 메시지 처리

포스트 프로세서