릴리스 노트

MongoDB connector 용 Spark 10.2

10.2 connector 릴리스에는 다음과 같은 새로운 기능이 포함되어 있습니다.

• connector가 null 값을 무시하는지 여부를 제어할 수 있는 ignoreNullValues 쓰기 구성 속성이 추가되었습니다. 이전 버전에서는 커넥터가 항상 MongoDB에 null 값을 기록했습니다.

• convertJson 쓰기 구성 속성에 대한 옵션이 추가되었습니다.

• 병렬 처리를 위해 마이크로 배치를 여러 파티션으로 나눌 수 있는 change.stream.micro.batch.max.partition.count 읽기 구성 속성이 추가되었습니다.

• change.stream.publish.full.document.only 구성 읽기 속성을 사용할 때 변경 스트림 스키마 추론이 개선되었습니다.

• 오프셋을 사용할 수 없을 때 connector 가 변경 이벤트를 처리하는 방법을 지정하는 change.stream.startup.mode 읽기 구성 속성이 추가되었습니다.

• 작업에 댓글을 추가할 수 있도록 지원합니다.

MongoDB connector 용 Spark 10.1.1

• $collStats 파이프라인 단계를 포함한 애그리게이션이 Time Series 컬렉션에 대한 카운트 필드를 반환하지 않는 버그가 수정되었습니다.

MongoDB connector 용 Spark 10.1.0

• Scala 2.13을 지원합니다.

• Spark Structured Streaming으로 마이크로 배치 모드를 지원합니다.

• BSON 데이터 유형을 지원합니다.

• 빈 컬렉션에 대한 파티셔너 지원이 개선되었습니다.

• 쓰기 작업 시 자동 업서트를 비활성화하는 옵션입니다.

• 빈 배열에 대한 스키마 추론이 개선되었습니다.

• 배열 및 목록에서 null 값을 지원합니다. 이제 connector 는 예외를 발생시키는 대신 이러한 값을 MongoDB 에 씁니다.

자세한 내용은 의 이 게시물 MongoDB Blog 을 참조하세요.

MongoDB connector 용 Spark 10.0.0

• Spark 구조화된 스트리밍을 지원합니다.