/ /

/ /

커넥터 오류 처리 속성

개요

다음 구성 설정을 사용하여 MongoDB Kafka connector가 오류를 처리하는 방법을 지정하고 데드 레터 큐를 구성합니다.

카테고리별로 정리된 싱크 connector 구성 설정 목록은 싱크 Connector 구성 속성가이드 를 참조하세요.

설정

이름	설명
mongo.errors.tolerance	유형: string 설명: 커넥터에 오류가 발생한 경우 메시지 처리를 계속할지 여부입니다. 커넥터가 `errors.tolerance` Kafka 클러스터 설정을 재정의할 수 있도록 허용합니다. `none`으로 설정하면 커넥터가 오류를 보고하고 나머지 메시지의 추가 처리를 차단합니다. `all`로 설정하면 커넥터가 문제가 있는 메시지를 무시합니다. `data`으로 설정하면 커넥터가 데이터 오류만 허용하고 나머지 모든 오류에서는 실패합니다. 오류 처리 전략에 대해 자세히 알아보려면 오류 처리 페이지를 참조하세요. 이 속성은 errors.tolerance Connect Framework의 속성을 재정의합니다. 기본값: `errors.tolerance` 설정의 값을 상속합니다. 허용 값: `"none"` 또는 `"all"`
mongo.errors.log.enable	유형: 불리언 설명: 커넥터가 실패한 작업을 포함하여 오류 세부 정보를 로그 파일에 쓰어야 하는지 여부. 커넥터는 `errors.tolerance` 또는 `mongo.errors.tolerance` 설정을 사용하여 오류를 "허용되지 않음" 또는 "허용됨"으로 분류합니다. `true`로 설정하면 커넥터는 "허용됨" 및 "허용되지 않음" 오류 모두를 로그합니다. `false`으로 설정하면 커넥터는 "허용되지 않음" 오류만 로그합니다. 이 속성은 Connect Framework의 errors.로그.enable Connect 프레임워크의 속성입니다. 기본값: `false` 허용되는 값: `true` 또는 `false`
errors.log.include.message	유형: 불리언 설명: 에러 로그인시 커넥터에 유효하지 않은 메시지를 포함해야 하는지 여부를 지정합니다. 유효하지 않은 메시지에는 기록 키, 값 및 헤더 등의 데이터가 포함됩니다. 기본값: `false` 허용 값: `true` 또는 `false`
errors.deadletterqueue.topic.name	유형: string 설명: 데드 레터 큐로 사용할 주제의 이름입니다. 빈 칸이면 커넥터는 유효하지 않은 메시지를 데드 레터 큐에 보내지 않습니다. 데드 레터 큐에 대해 자세히 알아보려면 데드 레터 큐 구성 예시를 참조하세요. 기본값: `""` 허용되는 값: 유효한 Kafka 주제 이름
errors.deadletterqueue.context.headers.enable	유형: 불리언 설명: 커넥터가 데드 레터 큐에 메시지를 쓰는 경우 컨텍스트 헤더를 포함해야 합니까? 데드 레터 큐에 대해 자세히 알아보려면 데드 레터 큐 구성 예시를 참조하세요. 커넥터가 정의하고 컨텍스트 헤더를 통해 보고하는 예외에 대해 알아보려면 대량 쓰기 예외를 참조하세요. 기본값: `false` 허용 값: `true` 또는 `false`
errors.deadletterqueue.topic.replication.factor	유형: 정수 설명: 데드 레터 큐 주제를 복제할 노드 수입니다. 단일 노드 Kafka 클러스터를 실행하는 경우 이 값을 `1`으로 설정해야 합니다. 데드 레터 큐에 대해 자세히 학습하려면 데드 레터 큐 구성 예시를 참조하세요. 기본값: `3` 허용 값: 유효한 노드 수

대량 쓰기 예외

connector는 대량 쓰기를 수행할 때 데드 레터 큐에 다음과 같은 예외를 컨텍스트 헤더로 보고할 수 있습니다.

이름

설명

WriteException

설명:
커넥터에서 발생한 BulkWriteError 에 대한 세부 정보가 포함되어 있습니다.

메시지 형식:

이 클래스는 다음 형식으로 오류를 출력합니다.

v=%d, code=%d, message=%s, details=%s

이전 메시지의 필드에는 다음 정보가 포함되어 있습니다.

v: WriteException 메시지 형식의 버전입니다. 이 필드는 이 예외로 인해 생성된 메시지를 구문 분석하는 데 도움이 됩니다. connector 버전 1.14 의 경우 메시지 형식의 버전은 1입니다.
code: 오류와 관련된 코드입니다. 자세한 학습 은 getCode() 메서드 문서를 참조하세요.
message: 오류와 관련된 메시지입니다. 자세한 학습 은 getMessage() 메서드 설명서를 참조하세요.
details: 오류와 관련된 세부 정보(JSON 형식)입니다. 자세한 내용은 다음 메서드 문서를 참조하세요.
- getDetails()
- toJson()

WriteConcernException

설명:
커넥터가 발견한 WriteConcernError 의 세부 정보가 포함되어 있습니다.

메시지 형식:

이 클래스는 다음 형식으로 오류를 출력합니다.

v=%d, code=%d, codeName=%d, message=%s, details=%s

이전 메시지의 필드에는 다음 정보가 포함되어 있습니다.

v: WriteConcernException 메시지 형식의 버전입니다. 이 필드는 이 예외로 인해 생성된 메시지를 구문 분석하는 데 도움이 됩니다. connector 버전 1.14 의 경우 메시지 형식의 버전은 1입니다.
code: 오류와 관련된 코드입니다. 자세한 학습 은 getCode() 메서드 문서를 참조하세요.
codeName: 오류와 관련된 코드 이름입니다. 자세한 학습 은 getCodeName() 메서드 설명서를 참조하세요.
message: 오류와 관련된 메시지입니다. 자세한 학습 은 getMessage() 메서드 설명서를 참조하세요.
details: 오류와 관련된 세부 정보(JSON 형식)입니다. 자세한 내용은 다음 메서드 문서를 참조하세요.
- getDetails()
- toJson()

WriteSkippedException

설명:
다음 시나리오의 일부로 MongoDB가 SinkRecord 쓰기 (write)를 시도하지 않았음을 알립니다:

connector는 순서가 지정된 대량 쓰기 작업을 MongoDB로 보냅니다.
MongoDB가 순서가 지정된 대량 쓰기에서 쓰기 작업을 처리하지 못합니다.
MongoDB는 순서가 지정된 대량 쓰기에서 모든 후속 쓰기 작업을 수행하려고 시도하지 않습니다.

Connector를 설정하여 정렬되지 않은 불크 쓰기 작업을 수행하는 방법은 Connector 메시지 처리 속성 페이지를 참조하십시오.
메시지 형식:

이 예외는 메시지를 생성하지 않습니다.

데드 레터 큐에 대한 대량 쓰기 예외 보고를 활성화하려면 다음 connector 구성을 사용합니다.

errors.tolerance=all
errors.deadletterqueue.topic.name=<name of topic to use as dead letter queue>
errors.deadletterqueue.context.headers.enable=true

데드 레터 큐 구성 예시

Apache Kafka 버전 2.6에는 잘못된 레코드 처리에 대한 지원이 추가되었습니다. Kafka Connector는 처리할 수 없는 메시지를 데드 레터 큐로 자동으로 보냅니다. 데드 레터 큐에 추가되면 잘못된 기록을 검사하고 업데이트하고 처리를 위해 다시 제출할 수 있습니다.

다음은 데드 레터 큐 주제 example.deadletterqueue 를 활성화하기 위한 구성 예시입니다. 이 구성은 데드 레터 큐 및 로그 파일에 유효하지 않은 메시지를 기록하고 데드 레터 큐 메시지에 컨텍스트 헤더를 포함하도록 지정합니다.

mongo.errors.tolerance=all
mongo.errors.log.enable=true
errors.log.include.messages=true
errors.deadletterqueue.topic.name=example.deadletterqueue
errors.deadletterqueue.context.headers.enable=true

데드 레터 큐에 대해 자세히 알아보려면 주제에 오류 및 잘못된 메시지 쓰기를 참조하세요.

돌아가기

커넥터 메시지 처리

포스트 프로세서