次の新機能をご覧ください。
MongoDB Connector for Spark 10.7
10.7 connector リリースには、次の変更と新機能が含まれています。
警告
重大な変更
Spark 3.1.x を使用している場合、 Spark コネクタバージョン 10.7 を使用するには、 Apache Spark 3.2 以降にアップグレードする必要があります。 Spark コネクタは、3.2 から 3.5 までのApache Sparkバージョンのみをサポートするようになりました。
各マイクロ バッチで消費される変更ストリームイベントの数を制限する
change.stream.micro.batch.max.rows読み取り構成プロパティを追加します。レート制限するには、change.stream.micro.batch.max.partition.count構成プロパティを1に設定し、ソースデータベース内のサイドカーコレクションへの書込み (write) アクセス権が必要です。change.stream.micro.batch.max.rows.offset.collection読み取り構成プロパティを追加します。これは、change.stream.micro.batch.max.rowsプロパティが設定されているときに再開トークンを永続化するために使用されるサイドカーコレクションを指定します。デフォルトは__spark_resume_tokensです。
MongoDB Connector for Spark 10.6
10.6 connector リリースには、次の変更と新機能が含まれています。
変更ストリームの読み取り構成で
fullDocumentBeforeChangeオプションのサポートを追加します。これにより、変更ストリーム出力に変更イベントの前に完全なドキュメントを含めるかどうかを指定できます。このオプションの詳細については、 ストリーミング読み取り構成オプションガイドの「変更ストリーム構成」セクションを参照してください。上書きを実行するときにコレクションを切り捨てる方法を指定する
truncateMode書き込み構成オプションを追加します。このオプションの詳細については、 ストリーミング書き込み構成ガイドの「概要」セクションを参照してください。順序なし挿入操作を実行するときに重複キー エラーを無視するかどうかを決定する
ignoreDuplicatesOnInsert書き込み構成オプションを追加します。このオプションは、バッチするストリーミング書き込みの両方で使用できます。このオプションの詳細については、「バッチ書込み構成オプション」および「ストリーミング書込み構成オプション」のガイドを参照してください。
MongoDB Connector for Spark 10.5
10.5 connector リリースには、次の変更と新機能が含まれています。
SamplePartitioner、PaginateBySizePartitioner、AutoBucketPartitionerのバッチする読み取り構成でSpark コネクタとともにAtlas Data Federationを使用するためのサポートを追加します。バッチする構成の詳細については、バッチ読み取り構成オプションページを参照してください。
デフォルトのバッチする読み取りパーティショニングの構成を次のように変更します。
AutoBucketPartitioner
MongoDB Connector for Spark 10.4
10.4 connector リリースには、次の変更と新機能が含まれています。
- Java Sync Driver のバージョンを v 5.1 .x に更新します。
MongoDB Connector for Spark 10.3
10.3 のコネクター リリースには、次の新機能が含まれています。
Spark v 3.3のサポートを追加し、 v 3.4 、および v 3.5 。
マイクロバッチまたは継続的なストリーミング モードを使用する場合に、複数のコレクションを読み取るためのサポートを追加しました。
警告
重大な変更
複数のコレクションの読み取りをサポートすることで、次の重大な変更が導入されます。
collection構成オプションで使用されるコレクションの名前にカンマが含まれている場合、 Spark Connectorはそれを 2 つの異なるコレクションとして扱います。 これを回避するには、カンマの前にバックスラッシュ（\）を付けてコンマをエスケープする必要があります。collection構成オプションで使用されるコレクションの名前が「*」の場合、 Spark Connectorはそれをすべてのコレクションをスキャンするための仕様と解釈します。 これを回避するには、アスタリスクの前にバックスラッシュ（\）を付けてアスタリスクをエスケープする必要があります。collection構成オプションで使用されるコレクションの名前にバックスラッシュ（\）が含まれている場合、 Spark Connectorはバックスラッシュをエスケープ文字として扱い、 値の解釈方法が変更される可能性があります。 これを回避するには、バックスラッシュの前に別のバックスラッシュを付けて、バックスラッシュをエスケープする必要があります。
複数のコレクションをスキャンする方法の詳細については、コレクション構成プロパティの説明 を参照してください。
MongoDB Connector for Spark 10.2
10.2 connector リリースには、次の新機能が含まれています。
コネクタが null 値を無視するかどうかを制御できる
ignoreNullValues書込み構成プロパティを追加しました。 以前のバージョンでは、connector は常に MongoDB にnull値を書込みました。convertJson書込み構成プロパティのオプションを追加しました。マイクロバッチを複数のパーティションに分割して並列処理が可能になる
change.stream.micro.batch.max.partition.count読み取り構成プロパティを追加しました。change.stream.publish.full.document.only読み取り構成プロパティを使用する場合の変更ストリーム スキーマの推論が改善されました。オフセットが使用できない場合にコネクタが変更イベントを処理する方法を指定する
change.stream.startup.mode読み取り構成プロパティを追加しました。操作にコメントを追加するためのサポート。
MongoDB Connector for Spark 10.1.1
$collStatsパイプライン ステージを含む集計が 時系列 コレクションのカウント フィールドを返さないバグを修正しました。
MongoDB Connector for Spark 10.1.0
Scala のサポート2.13 。
Spark Structured Streaming によるマイクロバッチ モードのサポート
BSON データ型のサポート
空のコレクションのパーティションのサポートを改善しました。
書込み (write) 操作の自動アップサートを無効にするオプション。
空の配列のスキーマ推論を改善しました。
配列とリスト内の null 値をサポートします。 Connector は例外をスローする代わりに、これらの値を MongoDB に書込むようになりました。
MongoDB Connector for Spark 10.0.0
- Spark Structured Streaming のサポート