FAQ

¿Cómo puedo lograr la localidad de datos?

Para cualquier implementación de MongoDB, el Spark Connector establece que la ubicación preferida para un DataFrame o Dataset sea donde se encuentran los datos.

• Para un sistema no segmentado, establece la ubicación preferida como el(los) hostname(s) del autónomo o el set de réplicas.

• Para un sistema particionado, establece que la ubicación preferida sea el(los) nombre(s) de host de las particiones.

Para promover la localización de datos, recomendamos tomar las siguientes acciones:

• Asegúrese de que haya un Spark Worker en uno de los hosts para un sistema no particionado o uno por partición para sistemas particionados.

• Usa una nearest preferencia de lectura para leer del clúster local mongod.

• Para un clúster fragmentado, ten un mongos en los mismos nodos y usa la configuración localThreshold para conectarse al mongos más cercano. Para dividir los datos por partición, use la Configuración de partición particionada.

¿Cómo soluciono el error Unrecognized pipeline stage name?

En las implementaciones de MongoDB con versiones mixtas de mongod, es posible recibir un error Unrecognized pipeline stage name: '$sample'. Para mitigar esta situación, configura explícitamente el particionador que se va a utilizar y define el esquema al usar DataFrames.

¿Cómo puedo utilizar mTLS para autenticación?

Para usar mTLS, incluya las siguientes opciones cuando ejecute spark-submit:

--driver-java-options -Djavax.net.ssl.trustStore=<path to your truststore.jks file> \
--driver-java-options -Djavax.net.ssl.trustStorePassword=<your truststore password> \
--driver-java-options -Djavax.net.ssl.keyStore=<path to your keystore.jks file> \
--driver-java-options -Djavax.net.ssl.keyStorePassword=<your keystore password> \
--conf spark.executor.extraJavaOptions=-Djavax.net.ssl.trustStore=<path to your truststore.jks file> \
--conf spark.executor.extraJavaOptions=-Djavax.net.ssl.trustStorePassword=<your truststore password> \
--conf spark.executor.extraJavaOptions=-Djavax.net.ssl.keyStore=<path to your keystore.jks file> \
--conf spark.executor.extraJavaOptions=-Djavax.net.ssl.keyStorePassword=<your keystore password> \

¿Cómo compartir una instancia de MongoClient entre hilos?

El MongoConnector incluye una caché que permite a los trabajadores compartir un solo MongoClient entre hilos. Para especificar el tiempo durante el cual se debe mantener disponible un MongoClient, incluya la opción mongodb.keep_alive_ms cuando ejecute spark-submit:

--driver-java-options -Dmongodb.keep_alive_ms=<number of milliseconds to keep MongoClient available>

Por defecto, esta propiedad tiene un valor de 5000.