FAQ

如何实现数据局部性？

对于任何 MongoDB 部署，Spark Connector 都会将数据框或数据集的首选位置设置为数据所在的位置。

• 对于非分片系统，它将首选位置设置为独立运行的实例或副本集的主机名。

• 对于分片系统，它将首选位置设置为分片的主机名。

为了提升数据局部性，我们建议采取以下操作：

• 对于非分片系统，确保其中一台主机上有 Spark 工作线程；对于分片系统，确保每个分片都有一个 Spark 工作线程。

• Use a nearest read preference to read from the local mongod.

• For a sharded cluster, have a mongos on the same nodes and use the localThreshold configuration setting to connect to the nearest mongos. To partition the data by shard use the ShardedPartitioner Configuration.

如何解决 Unrecognized pipeline stage name 错误？

In MongoDB deployments with mixed versions of mongod, it is possible to get an Unrecognized pipeline stage name: '$sample' error. To mitigate this situation, explicitly configure the partitioner to use and define the schema when using DataFrames.

如何使用 mTLS 进行身份验证？

要使用 mTLS，请在运行spark-submit时包含以下选项：

--driver-java-options -Djavax.net.ssl.trustStore=<path to your truststore.jks file> \
--driver-java-options -Djavax.net.ssl.trustStorePassword=<your truststore password> \
--driver-java-options -Djavax.net.ssl.keyStore=<path to your keystore.jks file> \
--driver-java-options -Djavax.net.ssl.keyStorePassword=<your keystore password> \
--conf spark.executor.extraJavaOptions=-Djavax.net.ssl.trustStore=<path to your truststore.jks file> \
--conf spark.executor.extraJavaOptions=-Djavax.net.ssl.trustStorePassword=<your truststore password> \
--conf spark.executor.extraJavaOptions=-Djavax.net.ssl.keyStore=<path to your keystore.jks file> \
--conf spark.executor.extraJavaOptions=-Djavax.net.ssl.keyStorePassword=<your keystore password> \

如何跨线程共享 MongoClient 实例？

MongoConnector 包含一个缓存，允许工作线程跨线程共享单个MongoClient 。 要指定保持MongoClient可用的时间长度，请在运行spark-submit时包含mongodb.keep_alive_ms选项：

--driver-java-options -Dmongodb.keep_alive_ms=<number of milliseconds to keep MongoClient available>

默认情况下，该属性的值为5000 。