MongoDB Connector for Spark 10.2
10.2 connector リリースには、次の新機能が含まれています。
コネクタが null 値を無視するかどうかを制御できる
ignoreNullValues書き込み構成プロパティを追加しました。 以前のバージョンでは、connector は常に MongoDB にnull値を書込みました。convertJson書込み構成プロパティのオプションを追加しました。マイクロバッチを複数のパーティションに分割して並列処理が可能になる
change.stream.micro.batch.max.partition.count読み取り構成プロパティを追加しました。change.stream.publish.full.document.only読み取り構成プロパティを使用する場合の変更ストリーム スキーマの推論が改善されました。オフセットが使用できない場合にコネクタが変更イベントを処理する方法を指定する
change.stream.startup.mode読み取り構成プロパティを追加しました。操作にコメントを追加するためのサポート。
MongoDB Connector for Spark 10.1.1
$collStatsパイプライン ステージを含む集計が 時系列 コレクションのカウント フィールドを返さないバグを修正しました。
MongoDB Connector for Spark 10.1.0
Scala のサポート2.13 。
Spark Structured Streaming によるマイクロバッチ モードのサポート
BSON データ型のサポート
空のコレクションのパーティションのサポートを改善しました。
書込み (write) 操作の自動アップサートを無効にするオプション。
空の配列のスキーマ推論を改善しました。
配列とリスト内の null 値をサポートします。 Connector は例外をスローする代わりに、これらの値を MongoDB に書込むようになりました。
MongoDB Connector for Spark 10.0.0
Spark Structured Streaming のサポート