Overview
バッチ モードとストリーミング モードの両方で読み取り操作と書込み操作を構成できます。 利用可能な構成オプションの詳細については、次のページを参照してください。
構成を指定する
使用 SparkConf
次のいずれかの方法を使用して、 SparkConfで構成オプションを指定できます。
SparkConfアプリケーション内の コンストラクター。詳細については、 Java SparkConfig ドキュメントを参照してください。
SparkConfアプリケーション内の コンストラクター。詳細については、 Python SparkConfig ドキュメントを参照してください。
SparkConfアプリケーション内の コンストラクター。詳しくは、 Scala SparkConfig のドキュメントを参照してください。
--conf実行時の フラグ。詳細については、 Sparkドキュメントの「 Sparkプロパティの動的ロード 」を参照してください。$SPARK_HOME/conf/spark-default.confファイル。
MongoDB Spark Connector は、デフォルトとしてSparkConfの設定を使用します。
オプション マップの使用
Spark API では、 DataFrameReader 、 DataFrameWriter 、 DataStreamReader 、 DataStreamWriterクラスにはそれぞれoption()メソッドが含まれています。 このメソッドを使用して、基礎となる読み取り操作または書込み (write) 操作のオプションを指定できます。
注意
このように指定されたオプションは、 SparkConf内の対応する設定を上書きします。
短縮構文
オプション マップは短縮形式の構文をサポートします。 オプション キー string を指定するときに、プレフィックスを省略できます。
例
次の構文は互いに同等です。
dfw.option("spark.mongodb.write.collection", "myCollection").save()dfw.option("spark.mongodb.collection", "myCollection").save()dfw.option("collection", "myCollection").save()
option()メソッドの詳細については、次の Spark ドキュメント ページを参照してください。
システム プロパティの使用
Spark Connectorは、SparkConf が使用可能になる前にいくつかの構成設定を読み取ります。 JVM システム プロパティを使用してこれらの設定を指定する必要があります。
Javaシステム プロパティの詳細については、 Java のドキュメントを参照してください。
Tip
構成の例外
Spark Connectorが ConfigException をスローした場合は、SparkConf または オプション マップが正しい構文を使用しており、有効な構成オプションのみが含まれていることを確認します。