모든 소스 커넥터 구성 속성

connection.uri

필수 사항

유형: 문자열

설명:
MongoDB 인스턴스 또는 클러스터 에 연결할 URI 연결 문자열 . 자세한

학습 은 MongoDB 에 연결을 참조하세요.

중요한: connection.uri 설정에서 인증 자격 증명 노출되지 않도록 하려면 ConfigProvider 를 사용하고 적절한 구성 매개 변수를 설정하다.

기본값: mongodb://localhost:27017,localhost:27018,localhost:27019
허용되는 값: MongoDB URI 연결 문자열

database

유형: 문자열

설명:
변경 사항을 감시할 데이터베이스 의 이름입니다. 설정하다 하지 않으면 connector 모든 데이터베이스의 변경 사항을 감시합니다.

기본값: ""
허용되는 값: 단일 데이터베이스 이름

컬렉션

유형:
문자열 설명: 데이터베이스 에서 변경 사항을 감시할 컬렉션 의 이름입니다. 설정하다 하지 않으면 connector

는 모든 컬렉션의 변경 사항을 감시합니다. 중요:database 구성이 로 설정하다 "" 경우 connector 설정을 collection 무시합니다.

기본값: ""
허용되는 값: 단일 컬렉션 이름

server.api.version

유형: 문자열

설명:
MongoDB cluster 와 함께 사용할 Stable API 버전입니다. Stable API 및 이를 지원 MongoDB 서버 버전에 대한 자세한 내용은 Stable API 가이드 참조하세요.

기본값: ""
허용되는 값: 빈 문자열 또는 유효한 Stable API 버전입니다.

server.api.deprecationErrors

유형: 부울

설명:
로 설정하다 true 하면 connector 선언된 Stable API 버전에서 더 이상 사용되지 않는 MongoDB 인스턴스 에서 명령을 호출하면 예외가 발생합니다. 구성 옵션을 사용하여

API 버전을 설정하다 수 server.api.version 있습니다. Stable API 에 대한 자세한 내용은 Stable API 의 MongoDB 매뉴얼 항목을 참조하세요.

기본값: false
허용되는 값: true 또는 false

server.api.strict

유형: 부울

설명:
로 설정하다 true 하면 connector 선언된 Stable API 버전에 포함되지 않은 명령을 MongoDB 인스턴스 에서 호출하면 예외가 발생합니다. 구성 옵션을 사용하여

API 버전을 설정하다 수 server.api.version 있습니다. Stable API 에 대한 자세한 내용은 Stable API 의 MongoDB 매뉴얼 항목을 참조하세요.

기본값: false
허용되는 값: true 또는 false

topic.prefix

유형: 문자열

설명:
connector 변경 스트림 이벤트를 게시하는 대상 Kafka 주제 이름의 첫 번째 부분을 지정합니다. 대상 주제 topic.prefix 이름은 값과 데이터베이스 및 컬렉션 이름으로 구성되며 topic.separator 속성 에 지정된 값으로 구분됩니다.

자세한 학습 은 주제 명명 접두사의 예시 참조하세요.

기본값: ""
허용되는 값: ".", "-" 및 "_"을 포함한 ASCII 영숫자로 구성된 문자열

topic.suffix

유형: 문자열

설명:
connector 변경 스트림 이벤트를 게시하는 대상 Kafka 주제 이름의 마지막 부분을 지정합니다. 대상 주제 이름은 데이터베이스 및 컬렉션 이름 뒤에 topic.suffix 값으로 구성되며 topic.separator 속성 에 지정된 값으로 구분됩니다.

자세한 학습 은 주제 명명 접미사의 예시 참조하세요.

기본값: ""
허용되는 값: ".", "-" 및 "_"을 포함한 ASCII 영숫자로 구성된 문자열

topic.namespace.map

유형:
문자열 설명: 변경 스트림

문서 네임스페이스와 주제 이름 간의 JSON 매핑을 지정합니다.topic.namespace.map 속성 사용하여 복잡한 매핑을 지정할 수 있습니다. 이 속성 정규식 및 와일드카드 일치를 지원합니다.

이러한 동작에 대해 자세히 학습 예시를 보려면 주제 네임스페이스 맵을 참조하세요.

기본값: ""
허용되는 값: 유효한 JSON 객체

topic.separator

유형: 문자열

설명:
connector 주제 이름을 만드는 데 사용되는 값을 연결하는 데 사용하는 문자열을 지정합니다. connector 다음 필드의 값을 다음 순서로 연결하여 구성된 이름을 가진 주제 에 레코드를 게시합니다.

1. topic.prefix

2. database

3. collection

4. topic.suffix

예시 들어, 다음 구성은 connector db 데이터베이스 의 coll 컬렉션 에서 prefix-db-coll 주제 에 변경 스트림 문서를 게시하도록 지시합니다.

topic.prefix=prefix
database=db
collection=coll
topic.separator=-

중요: topic.separator 속성 topic.namespace.map topic.namespace.map 사용하는 경우 속성 정의하는 방법에는 영향을 주지 않습니다. 속성 . 데이터베이스 와 컬렉션 이름을 구분하기 위해 항상 문자로 지정해야 하는 MongoDB 네임스페이스를 사용합니다.

기본값: "."
허용되는 값: 문자열

topic.mapper

유형: 문자열

설명:
사용자 지정 주제 매핑 로직을 정의하는 Java 클래스입니다.

기본값: com.mongodb.kafka.connect.source.topic.mapping.DefaultTopicMapper
허용되는 값: TopicMapper 클래스 구현 의 유효한 전체 클래스 이름입니다.

파이프라인

유형:
문자열 설명: 변경 스트림 에서 실행 집계 파이프라인의 배열 입니다. 필드 아닌 변경 스트림 이벤트 문서 에 대해 이 설정을 구성해야 fullDocument 합니다.

예시 들면 다음과 같습니다.

[{"$match": { "$and": [{"operationType": "insert"}, {"fullDocument.eventId": 1404 }] } }]

더 많은 예시를 보려면 다음을 참조하세요.

• 변경 이벤트를 필터링하도록 파이프라인 사용자 지정하기
• 여러 소스의 변경 사항 수신

기본값: "[]"
허용되는 값: 유효한 집계 파이프라인 단계

change.stream.full.document

유형:updateLookup

whenAvailable

문자열 설명:required

업데이트 작업에서 변경

스트림 반환하는""
값을 결정합니다. 기본값 설정은 원본 문서 와 업데이트된 문서 간의 차이점을 반환합니다. 설정은 원본 문서 와 업데이트된 문서 간의 차이점과 업데이트 후 특정 점 의 전체 업데이트된 문서 의 사본을 반환합니다. 설정은 업데이트된 문서(사용 가능한 경우)를 반환합니다. 설정은 업데이트된 문서 반환하고 해당 문서를 사용할 수 없는 경우 오류를 발생시킵니다. 이 변경 스트림 옵션의 작동 방식에 대한 자세한 내용은 MongoDB 매뉴얼의 업데이트 작업에 대한 전체 문서 조회를 참조하세요. 기본값: 허용되는"" 값:,, "updateLookup" "whenAvailable"또는 "required"

change.stream.full.document.before.change

유형:


문자열 설명: 업데이트 작업 시

변경 스트림 이

반환하는 문서 사전 whenAvailable 이미지를 구성합니다. 기존 데이터를 복사하는 동안 게시된 소스 레코드에는 사전 이미지를 사용할 수 없으며, 사전 이미지 구성은 복사에 영향을 주지 않습니다. 사전 이미지를 활성화 하도록

컬렉션 구성하는 방법을 학습 MongoDB 매뉴얼에서 문서 사전 및 사후 이미지로 스트림 변경을 참조하세요. 기본값 설정은 required 문서 사전 이미지를 억제합니다. 설정은 사용 가능한 경우 교체, 업데이트 또는 삭제되기 전의 문서 사전 이미지를 반환합니다. 설정은 문서 사전 이미지를 반환하고 사용할 수 없는 경우 오류를 발생시킵니다.

기본값: ""
허용되는 값: "" 또는 "whenAvailable" 또는 "required"

publish.full.document.only

유형:
fullDocument fullDocument 부울 설명:fullDocument 업데이트 이벤트 에 의해 생성된 변경 스트림 이벤트 문서 에서 필드 만 반환할지 여부입니다. 필드 에는 업데이트된 문서 의 최신 버전이 포함되어 있습니다. 필드 에 대해 자세히 학습 서버 매뉴얼의 업데이트 이벤트를 참조하세요. 로 설정하다

true하면 connector 설정을 재정의하고 change.stream.full.document updateLookup 로 설정하여 fullDocument 필드 에 업데이트된 문서가 포함되도록 합니다.

기본값: false
허용되는 값: true 또는 false

publish.full.document.only.tombstone.on.delete

유형: 부울

설명:
문서가 삭제될 때 삭제 표시 이벤트를 반환할지 여부입니다. 툼스톤 이벤트에는 null 값을 가진 삭제된 문서의 키가 포함되어 있습니다. 이 설정은 이 인 경우에만 publish.full.document.only true적용됩니다.

기본값: false
허용되는 값: true 또는 false

change.stream.document.key.as.key

유형: 부울

설명:
문서 키가 있는 경우 소스 기록 키에 문서 키를 사용할지 여부입니다.

로 true 설정하다 하면 connector 삭제된 문서의 키를 툼스톤 이벤트에 추가합니다. 로 설정하다 false 하면 connector 재개 토큰을 툼스톤 이벤트의 소스 키로 사용합니다.

기본값: true
허용되는 값: true 또는 false

데이터 정렬

유형: 문자열

설명:
MongoDB 변경 스트림 에서 반환된 문서에 적용하는 언어별 순서 규칙을 지정하는 JSON

""
데이터 정렬 문서 . 기본값: 허용되는 값: 유효한 데이터 정렬 JSON 문서

batch.size

유형: int

설명:
변경 스트림 커서 배치 크기입니다.

0
기본값:허용되는 값: 정수

poll.await.time.ms

유형: long

설명:
서버 빈 배치 반환하기 전에 변경 스트림 커서 에 보고할 새 데이터 변경 사항을 기다리는 최대 시간(밀리초)입니다.

5000
기본값:허용되는 값: 정수

poll.max.batch.size

유형: int

설명:
새 데이터에 대해 변경 스트림 커서 폴링할 때 단일 배치 에서 읽을 수 있는 최대 문서 수입니다. 이 설정을 사용하여 connector 에서 내부적으로 버퍼링되는 데이터의 양을 제한할 수 있습니다.

1000
기본값:허용되는 값: 정수

output.format.key

유형: 문자열

설명:
소스 connector 키 문서 출력하는 데이터 형식을 지정합니다.

기본값: json
허용되는 bsonjson값:,, schema

output.format.value

유형: 문자열

설명:
소스 connector 값 문서 출력하는 데이터 형식을 지정합니다.

connector 는 출력 데이터 형식으로 Protobuf를 지원합니다. 값을 schema 지정하고 Kafka Connect Protobuf 변환기를 설치 및 구성하여 이 형식을 활성화 할 수 있습니다.

기본값: json
허용되는 bsonjson값:,, schema

output.json.formatter

유형: 문자열

설명:
connector 가 데이터를 출력하는 데 사용해야 하는 JSON 포맷터의 클래스 이름입니다.

기본값:

com.mongodb.kafka.connect.source.json.formatter.DefaultJson

허용되는 값: 사용자
지정 JSON 포맷터 전체 클래스 이름 또는 다음 내장 포맷터 클래스 이름 중 하나입니다.

com.mongodb.kafka.connect.source.json.formatter.DefaultJson
com.mongodb.kafka.connect.source.json.formatter.ExtendedJson
com.mongodb.kafka.connect.source.json.formatter.SimplifiedJson

이러한 출력 형식에 대해 자세히 알아보려면 JSON 포맷터를 참조하세요.

output.schema.key

유형: 문자열

설명:
SourceRecord의 키 문서 에 대한 Avro 스키마 정의를 지정합니다.

Avro 스키마 에 대해 자세히 학습 데이터 형식 가이드 에서 Avro를 참조하세요.

기본값:

{
  "type": "record",
  "name": "keySchema",
  "fields" : [ { "name": "_id", "type": "string" } ]"
}

허용되는 값: 유효한 Avro 스키마

output.schema.value

유형: 문자열

설명:
SourceRecord의 값 문서 에 대한 Avro 스키마 정의를 지정합니다.

Avro 스키마 에 대해 자세히 학습 데이터 형식 가이드 에서 Avro를 참조하세요.

기본값:

{
  "name": "ChangeStream",
  "type": "record",
  "fields": [
    { "name": "_id", "type": "string" },
    { "name": "operationType", "type": ["string", "null"] },
    { "name": "fullDocument", "type": ["string", "null"] },
    { "name": "ns",
      "type": [{"name": "ns", "type": "record", "fields": [
                {"name": "db", "type": "string"},
                {"name": "coll", "type": ["string", "null"] } ]
               }, "null" ] },
    { "name": "to",
      "type": [{"name": "to", "type": "record",  "fields": [
                {"name": "db", "type": "string"},
                {"name": "coll", "type": ["string", "null"] } ]
               }, "null" ] },
    { "name": "documentKey", "type": ["string", "null"] },
    { "name": "updateDescription",
      "type": [{"name": "updateDescription",  "type": "record", "fields": [
                 {"name": "updatedFields", "type": ["string", "null"]},
                 {"name": "removedFields",
                  "type": [{"type": "array", "items": "string"}, "null"]
                  }] }, "null"] },
    { "name": "clusterTime", "type": ["string", "null"] },
    { "name": "txnNumber", "type": ["long", "null"]},
    { "name": "lsid", "type": [{"name": "lsid", "type": "record",
               "fields": [ {"name": "id", "type": "string"},
                             {"name": "uid", "type": "string"}] }, "null"] }
  ]
}

허용되는 값: 유효한 JSON schema

output.schema.infer.value

유형: 부울

설명:
connector 소스 레코드의 값 문서 에 대한 스키마 추론해야 하는지 여부입니다. connector 각 문서 격리 으로 처리하므로 connector 많은 스키마를 생성할 수 있습니다.

중요: connector output.format.value 설정을 로 설정하다 경우에만 이 설정을 schema 읽습니다.

기본값: false
허용되는 값: true 또는 false

startup.mode

유형: 문자열

설명:
사용 가능한 소스 오프셋이 없을 때 connector 시작하는 방법을 지정합니다.

startup.mode=latest변경 스트림

재개하려면 startup.mode=timestamp connector 소스 오프셋에서 가져오는 재개 토큰이 startup.mode.timestamp.* 필요합니다. 소스 오프셋을 사용할 수 없는 경우 connector 기존 소스 데이터 전체 또는 일부를 무시하거나 먼저 기존 소스 데이터를 모두 복사한 다음 새 데이터를 계속 처리 할 수 있습니다. timestamp latest인 경우 connector 기존의 모든 소스 데이터를 무시합니다.

인 경우 connector 속성을 작동합니다. 구성된 속성이 없는 경우 는 에 해당합니다. 인 경우 connector startup.mode=copy_existing 는 기존의 모든 소스 데이터를 변경 스트림 이벤트에 복사합니다. 이 설정은 더 이상 사용되지 않는 설정 와 copy.existing=true 동일합니다.

소스 커넥터가 데이터베이스의 기존 데이터를 변환하는 동안 시스템에서 데이터베이스의 데이터를 변경하는 경우, MongoDB는 최신 변경 사항을 반영하기 위해 중복된 변경 스트림 이벤트를 생성할 수 있습니다. 데이터 복사가 의존하는 변경 스트림 이벤트는 멱등성이 있으므로 복사된 데이터는 결국 일관성을 갖습니다.

latest
기본값:허용되는latest timestamp값:,, copy_existing

startup.mode.timestamp.start.at.operation.time

유형:
문자열 설명:startup.mode=timestamp 인 경우에만 작동합니다. 변경 스트림 의 시작 점 지정합니다.

변경 스트림 매개변수에 대해 자세히 학습 MongoDB 매뉴얼의 $changeStream ( 집계 )을 참조하세요.

기본값: ""
허용되는 값:

• 에포크 이후의 10진수 정수형 초(예시: 30)입니다.

• 정밀도가 1초인 ISO-8601 형식의 순간(예시: 1970-01-01T00:00:30Z)입니다.

• 표준 확장 JSON(v2) 형식의 BSON 타임스탬프(예시: {"$timestamp": {"t": 30, "i": 0}})입니다.

startup.mode.copy.existing.namespace.regex

유형:
문자열 설명: connector 가 데이터를 복사할 네임스페이스를 일치시키기 위해 사용하는 표현식 입니다. 네임스페이스 MongoDB database 이름과 컬렉션 마침표로 구분하여 설명합니다( databaseName.collectionName 예시:).

예시 들어, 다음 정규 표현식 설정은 데이터베이스 에서 'page'로 시작하는 컬렉션과 stats 일치합니다.

startup.mode.copy.existing.namespace.regex=stats\.page.*

\ 위 예시 의 문자는 . 정규 표현식 에서 뒤에 오는 문자를 이스케이프 처리합니다. 정규 표현식을 빌드 방법에 대한 자세한 내용은 Java API 문서에서 패턴을 참조하세요.

기본값: ""
허용되는 값: 유효한 정규 표현식

startup.mode.copy.existing.pipeline

유형: 문자열

설명:
기존 데이터를 복사할 때 connector 실행하는 파이프라인 작업의 인라인 배열 . 이 설정을 사용하여 소스 컬렉션 필터하다 하고 복사 프로세스 에서 인덱스 사용을 개선할 수 있습니다.

예시 들어, 다음 설정은 $match 집계 연산자 사용하여 closed 값이 인 필드 포함된 문서만 복사하도록 connector 에 false 지시합니다.

startup.mode.copy.existing.pipeline=[ { "$match": { "closed": "false" } } ]

기본값: ""
허용되는 값: 유효한 집계 파이프라인 단계

startup.mode.copy.existing.max.threads

유형: int

설명:
connector 데이터를

복사하는 데 사용할 수 있는 최대
스레드 수입니다. 기본값: 환경에서 사용 가능한 프로세서 수 허용되는 값: 정수

startup.mode.copy.existing.queue.size

유형: int

설명:
connector 가 데이터를 복사할 때 사용할 수 있는 대기열의 크기입니다.

16000
기본값:허용되는 값: 정수

startup.mode.copy.existing.allow.disk.use

유형: 부울

설명:
로 true 설정하다 하면 connector 기존 집계 복사본에 임시 디스크 저장 사용합니다.

기본값: true
허용되는 값: true 또는 false

mongo.errors.tolerance

유형: 문자열 설명: connector 오류가 발생했을


때 메시지를 계속 처리 할지 여부입니다.

"none" connector 오류 발생 시 메시지 처리 중지하고 문제를 보고하도록 하려면 이 값을 로 설정합니다.

"all" connector 메시지를 계속 처리 발생하는 오류를 무시하도록 하려면 이 값을 로 설정합니다. 중요: 이 속성 errors.tolerance

연결 프레임워크 속성 재정의합니다.

기본값: "none"
허용되는 값: "none" 또는 "all"

mongo.errors.log.enable

유형: 부울

설명:
connector 로그 파일 의 오류를 보고해야 하는지 여부입니다.

true connector 발생하는 모든 오류를 로그 하려면 이 값을

로 false 설정합니다. connector 에서 허용되지 않는 오류를 로그 errors.tolerance mongo.errors.tolerance 하려면

이 값을 로 설정합니다. 또는 설정을 사용하여 connector 허용해야 하는 오류를 지정할 수 있습니다. 중요: 이 속성 오류를 재정의합니다.

로그 . false
연결 프레임워크 속성 활성화 . 기본값: 허용되는 값: true 또는 false

mongo.errors.deadletterqueue.topic.name

유형: 문자열

설명:
데드 레터 큐 로 사용할 주제 이름입니다.

값을 지정하면 connector 잘못된 메시지를 데드 레터 큐 주제 에 확장 JSON 문자열로 씁니다.

이 설정을 비워 두면 connector 어떤 주제 에도 잘못된 메시지를 쓰기 (write) 않습니다.

중요: 이 속성 활성화하려면 errors.tolerance 또는 mongo.errors.tolerance 설정을 로 설정하다 해야 합니다."all"

기본값: ""
허용되는 값: 유효한 Kafka 주제 이름

offset.partition.name

유형: 문자열

설명:
사용할 사용자 지정 오프셋 파티션 이름입니다. 이 옵션을 사용하여 기존 오프셋에 잘못된 재개 토큰이 포함된 경우 connector 새 변경 스트림 시작하도록 지시할 수 있습니다. 이 설정을

비워 두면 connector 연결 세부 정보를 기반으로

기본값 파티션 이름을 사용합니다. 오프셋 파티션 이름 지정 전략을 보려면 저장된 오프셋 재설정을 참조하세요.

기본값: 허용되는 값: ""
문자열. 파티션 이름 지정에 대해 자세히 학습 Apache Kafka API 문서의 소스 레코드를 참조하세요.

heartbeat.interval.ms

유형: long

설명:
connector

postBatchResumeToken 가 하트비트 메시지 전송 사이에 대기하는 시간(밀리초)입니다. connector 소스 레코드가 지정된 간격으로 게시되지 않으면 하트비트 메시지를 보냅니다. 이 메커니즘은 볼륨이 적은 네임스페이스에 대한 connector 의 재개 가능성을 개선합니다. 하트비트 메시지에는 데이터 필드 포함되어 있습니다. 이 필드 의 값에는 connector 변경

0

스트림 에서 마지막으로 읽은 MongoDB 서버 oplog 항목이 포함되어 있습니다. 하트비트 메시지를 비활성화하려면 이 값을 로 설정합니다. 자세한 학습

은 유효하지 않은 재개토큰 페이지의 예방을 참조하세요. 기본값:0
허용되는 값: 정수

heartbeat.topic.name

유형: 문자열

설명:
connector 하트비트 메시지를 게시해야 하는 주제 의 이름입니다.heartbeat.interval.ms 이 기능 활성화 하려면 설정에 양수 값을 제공해야 합니다.

기본값: __mongodb_heartbeats
허용되는 값: 유효한 Kafka 주제 이름