Overview
Puede configurar operaciones de lectura y escritura tanto en modo por lotes como en modo streaming. Para obtener más información sobre las opciones de configuración disponibles, consulte las siguientes páginas:
Especificar configuración
Utilizando SparkConf
Puede especificar opciones de configuración con SparkConf utilizando cualquiera de los siguientes enfoques:
El constructor
SparkConfde su aplicación. Para obtener más información, consulte Documentación de Java SparkConf.
El
SparkConfconstructor de tu aplicación. Para obtener más información, consulta la documentación de Python SparkConf.
El
SparkConfconstructor de su aplicación. Para obtener más información, consulte la documentación de Scala SparkConf.
El
--confindicador en tiempo de ejecución. Para obtener más información, consulte Carga dinámica de propiedades de Spark en la documentación de Spark.El archivo
$SPARK_HOME/conf/spark-default.conf.
El conector MongoDB Spark utilizará las configuraciones en SparkConf como predeterminadas.
Usando un mapa de opciones
En la API de Spark, las clases DataFrameReader, DataFrameWriter, DataStreamReader y DataStreamWriter contienen cada una un método option(). Puede usar este método para especificar opciones para la operación de lectura o escritura subyacente.
Nota
Las opciones especificadas de esta manera anulan cualquier configuración correspondiente en SparkConf.
Sintaxis de formato corto
Los mapas de opciones admiten sintaxis abreviada. Puede omitir el prefijo al especificar una cadena de clave de opción.
Ejemplo
Las siguientes sintaxis son equivalentes entre sí:
dfw.option("spark.mongodb.write.collection", "myCollection").save()dfw.option("spark.mongodb.collection", "myCollection").save()dfw.option("collection", "myCollection").save()
Para obtener más información sobre el método option(), consulte las siguientes páginas de documentación de Spark:
Uso de una propiedad del sistema
El conector Spark lee algunos ajustes de configuración antes de que SparkConf esté disponible. Debe especificar estos ajustes mediante una propiedad del sistema JVM.
Para obtener más información sobre las propiedades del sistema Java, consulte la documentación de Java.
Tip
Excepciones de configuración
Si el conector Spark arroja un ConfigException, confirme que su SparkConf o mapa de opciones utiliza una sintaxis correcta y contiene solo opciones de configuración válidas.