Overview
Puedes configurar operaciones de lectura y escritura tanto en modo por lotes como en transmisión. Para obtener más información sobre las opciones de configuración disponibles, consulte las siguientes páginas:
Especificar configuración
Utilizando SparkConf
Puedes especificar las opciones de configuración con SparkConf utilizando cualquiera de los siguientes enfoques:
- El constructor
SparkConfen su aplicación. Para obtener más información, consulta la documentación de Java SparkConf.
- El constructor
SparkConfen su aplicación. Para aprender más, consulta la documentación de Python SparkConf.
- El constructor
SparkConfen su aplicación. Para obtener más información, consulte la documentación de Scala SparkConf.
La bandera
--confen tiempo de ejecución. Para aprender más, consulta Carga Dinámica de Propiedades de Spark en la documentación de Spark.El archivo
$SPARK_HOME/conf/spark-default.conf.
El conector de MongoDB Spark usará la configuración en SparkConf como por defecto.
Uso de un Mapa de Opciones
En la API de Spark, las clases DataFrameReader, DataFrameWriter, DataStreamReader, y DataStreamWriter contienen cada una un método option(). Puedes usar este método para especificar opciones para la operación subyacente de lectura o escritura.
Nota
Las opciones especificadas de esta manera reemplazan cualquier configuración correspondiente en SparkConf.
Sintaxis de forma corta
Los mapas de opciones admiten sintaxis en formato corto. Puede omitir el prefijo al especificar una clave de opción string.
Ejemplo
Las siguientes sintaxis son equivalentes entre sí:
dfw.option("spark.mongodb.write.collection", "myCollection").save()dfw.option("spark.mongodb.collection", "myCollection").save()dfw.option("collection", "myCollection").save()
Para obtener más información sobre el método option(), consulte las siguientes páginas de documentación de Spark:
Utilizando una Propiedad de Sistema
El Spark Connector lee algunas configuraciones de ajustes antes de que SparkConf esté disponible. Debes especificar estos ajustes utilizando una propiedad del sistema JVM.
Para obtener más información sobre las propiedades del sistema Java, consulte la documentación de Java.
Tip
Excepciones de configuración
Si el Spark Connector genera un ConfigException, confirme que su SparkConf o el mapa de opciones utilice la sintaxis correcta y solo contenga opciones de configuración válidas.