일괄 읽기 구성 옵션

connection.uri

필수 사항입니다.
연결 문자열 구성 키입니다.

기본값: mongodb://localhost:27017/

database

필수 사항입니다.
데이터베이스 이름 구성입니다.

collection

필수 사항입니다.
컬렉션 이름 구성입니다.

comment

읽기 작업에 추가할 주석입니다. 주석은 데이터베이스 프로파일러의 출력에 표시됩니다.

기본값: 없음

mode

예상 스키마 와 일치하지 않는 문서를 처리할 때 사용할 구문 분석 전략입니다. 이 옵션에는 다음 값을 사용할 수 있습니다.

• ReadConfig.ParseMode.FAILFAST: 스키마 와 일치하지 않는 문서 를 구문 분석할 때 예외가 발생합니다.

• ReadConfig.ParseMode.PERMISSIVE: 데이터 유형이 스키마 와 일치하지 않는 경우 필드를 null 으)로 설정합니다. 유효하지 않은 각 문서 를 확장 JSON string 로 저장 하려면 이 값을 columnNameOfCorruptRecord 옵션과 결합합니다.

• ReadConfig.ParseMode.DROPMALFORMED: 스키마 와 일치하지 않는 모든 문서 를 무시합니다.

기본값입니다: ReadConfig.ParseMode.FAILFAST

columnNameOfCorruptRecord

mode 옵션을 로 ReadConfig.ParseMode.PERMISSIVE 설정하다 경우 이 옵션은 유효하지 않은 문서 확장 JSON 으로 저장하는 새 열의 이름을 지정합니다. 명시적 스키마 사용하는 경우 새 열의 이름이 포함되어야 합니다. 유추된 스키마 사용하는 경우 Spark Connector 스키마 끝에 새 열을 추가합니다.

기본값: 없음

mongoClientFactory

MongoClientFactory 구성 키입니다. 인터페이스를 구현
해야 하는 사용자 지정 구현 지정할 수 com.mongodb.spark.sql.connector.connection.MongoClientFactory 있습니다.

기본값: com.mongodb.spark.sql.connector.connection.DefaultMongoClientFactory

partitioner

파티셔너 전체 클래스 이름입니다.

com.mongodb.spark.sql.connector.read.partitioner.Partitioner 인터페이스를 구현해야 하는 사용자 지정 구현을 지정할 수 있습니다.
파티셔너에 대한 자세한 내용은 파티셔너 구성 섹션을 참조하세요.

기본값: com.mongodb.spark.sql.connector.read.partitioner.SamplePartitioner

partitioner.options.

파티셔너 구성 접두사입니다.
파티셔너에 대한 자세한 내용은 파티셔너 구성 섹션을 참조하세요.

sampleSize

스키마 를 추론할 때
컬렉션 에서 샘플 할 문서 수입니다.

기본값: 1000

sql.inferSchema.mapTypes.enabled

스키마 추론할 때 지도 유형을 활성화 할지 여부입니다.
활성화하면 호환되는 큰 구조체 유형이 MapType 대신 로 유추됩니다.

기본값: true

sql.inferSchema.mapTypes.minimum.key.size

로 추론하기 전의 의 최소 크기입니다.StructType MapType

기본값: 250

aggregation.pipeline

Spark 로 데이터를 전송하기 전에 컬렉션 에 적용 할 사용자 지정 집계 파이프라인 지정합니다.
값은 확장 JSON 단일 문서 또는 문서 목록이어야 합니다.
단일 문서 다음과 유사합니다.

{"$match": {"closed": false}}

문서 목록은 다음과 유사합니다.

[{"$match": {"closed": false}}, {"$project": {"status": 1, "name": 1, "description": 1}}]

참고: 사용자 지정 집계 파이프라인은 파티셔너 전략과 호환되어야 합니다. 예시 들어 $group 과 같은 집계 단계는 둘 이상의 파티션을 생성하는 파티셔너에서는 작동하지 않습니다.

aggregation.allowDiskUse

집계 실행 때 디스크에 저장 하도록 허용할지 여부를 지정합니다.

기본값: true

outputExtendedJson

true인 경우 connector Spark 에서 지원하지 않는 BSON types를 확장 JSON 문자열로 변환합니다.false 인 경우 connector 지원되지 않는 유형에 대해 원래의 완화된 JSON 형식을 사용합니다.

기본값: false

schemaHints

컬렉션 에 대한 스키마 유추할 때 사용할 알려진 필드 유형의 부분 스키마 schemaHints 지정합니다. 옵션에 대해 자세히 학습 스키마 힌트로 알려진 필드 지정 섹션을 참조하세요.

기본값: 없음