批量读取配置选项

connection.uri

必需。
连接字符串配置键。默认值：

mongodb://localhost:27017/

database

必需。
数据库名称配置。

collection

必需。
集合名称配置。

comment

要附加到读取操作的注释。注释显示在数据库分析器的输出中。默认值：无

mode

处理与预期模式不匹配的文档时使用的解析策略。 此选项接受以下值：

• ReadConfig.ParseMode.FAILFAST：在解析与模式不匹配的文档时引发异常。

• ReadConfig.ParseMode.PERMISSIVE：当数据类型与模式不匹配时，将字段设置为null 。 要将每个无效文档存储为扩展JSON string ，请将此值与 columnNameOfCorruptRecord 选项结合使用。

• ReadConfig.ParseMode.DROPMALFORMED：忽略任何与模式不匹配的文档。

默认： ReadConfig.ParseMode.FAILFAST

columnNameOfCorruptRecord

如果将mode 选项设立为ReadConfig.ParseMode.PERMISSIVE ，则此选项会指定将无效文档存储为扩展JSON 的新列的名称。如果使用的是显式模式，则必须包含新列的名称。如果您使用的是推断模式， Spark Connector会将新列添加到模式的末尾。默认值：无

mongoClientFactory

MongoClientFactory 配置键。您可以指定必须实现 接口的自定义实施。默认值：
com.mongodb.spark.sql.connector.connection.MongoClientFactory

com.mongodb.spark.sql.connector.connection.DefaultMongoClientFactory

partitioner

分区器完整类名。

您可以指定必须实现 com.mongodb.spark.sql.connector.read.partitioner.Partitioner 接口的自定义实现。
有关分区器的更多信息，请参阅 分区器配置 部分。

默认值： com.mongodb.spark.sql.connector.read.partitioner.SamplePartitioner

partitioner.options.

分区器配置前缀。
有关分区器的更多信息，请参阅分区器配置部分。

sampleSize

推断模式时从集合中示例的文档数。默认值：

1000

sql.inferSchema.mapTypes.enabled

在推断模式时是否启用Map 类型。启用后，大型兼容结构类型将被推断为
MapType

。默认值：true

sql.inferSchema.mapTypes.minimum.key.size

StructType在推断为MapType 之前， 的最小大小。默认值：

250

aggregation.pipeline

指定在将数据发送到Spark之前应用集合的自定义聚合管道。该值必须是扩展的JSON单个文档或文档列表。单个文档类似于以下内容：

{"$match": {"closed": false}}

文档列表类似于以下内容：

[{"$match": {"closed": false}}, {"$project": {"status": 1, "name": 1, "description": 1}}]

重要提示：自定义聚合管道必须与分区器策略兼容。示例，$group 等聚合阶段不适用于任何创建多个分区的分区器。

aggregation.allowDiskUse

指定运行聚合时是否允许存储到磁盘。默认值：

true

outputExtendedJson

当为true 时，Connector会将Spark不支持的BSON 类型转换为扩展JSON字符串。当为false 时，Connector对不支持的类型使用原始的宽松JSON格式。默认值：

false

schemaHints

指定在推断集合的模式时使用的已知字段类型的部分模式。要学习；了解有关 选项的更多信息，请参阅使用模式提示指定已知字段部分。默认值：无schemaHints