Overview
Puedes configurar operaciones de lectura y escritura tanto en modo por lotes como en transmisión. Para obtener más información sobre las opciones de configuración disponibles, consulte las siguientes páginas:
Especificar configuración
Utilizando SparkConf
Puede especificar opciones de configuración con SparkConf utilizando cualquiera de los siguientes enfoques:
El constructor
SparkConfen su aplicación. Para obtener más información, consulta el Documentación de Java SparkConf.
El constructor
SparkConfen su aplicación. Para aprender más, consulta la documentación de Python SparkConf.
El constructor
SparkConfen su aplicación. Para obtener más información, consulte la documentación de Scala SparkConf.
La bandera
--confen tiempo de ejecución. Para aprender más, consulta Carga Dinámica de Propiedades de Spark en la documentación de Spark.El archivo
$SPARK_HOME/conf/spark-default.conf.
El conector MongoDB Spark utilizará las configuraciones en SparkConf como predeterminadas.
Uso de un Mapa de Opciones
En la API de Spark, las clases DataFrameReader, DataFrameWriter, DataStreamReader, y DataStreamWriter contienen cada una un método option(). Puedes usar este método para especificar opciones para la operación subyacente de lectura o escritura.
Nota
Las opciones especificadas de esta manera reemplazan cualquier configuración correspondiente en SparkConf.
Sintaxis de forma corta
Los mapas de opciones admiten sintaxis abreviada. Puede omitir el prefijo al especificar una cadena de clave de opción.
Ejemplo
Las siguientes sintaxis son equivalentes entre sí:
dfw.option("spark.mongodb.write.collection", "myCollection").save()dfw.option("spark.mongodb.collection", "myCollection").save()dfw.option("collection", "myCollection").save()
Para obtener más información sobre el método option(), consulte las siguientes páginas de documentación de Spark:
Utilizando una Propiedad de Sistema
El conector Spark lee algunos ajustes de configuración antes de que SparkConf esté disponible. Debe especificar estos ajustes mediante una propiedad del sistema JVM.
Para obtener más información sobre las propiedades del sistema Java, consulte la documentación de Java.
Tip
Excepciones de configuración
Si el conector Spark arroja un ConfigException, confirme que su SparkConf o mapa de opciones utiliza una sintaxis correcta y contiene solo opciones de configuración válidas.