Opções de configuração de leitura em lote

connection.uri

Obrigatório.
A chave de

configuração da string de conexão . Padrão: mongodb://localhost:27017/

database

Obrigatório.
A configuração do nome do banco de dados.

collection

Obrigatório.
A configuração do nome da coleção.

comment

O comentário a ser anexado à operação de leitura. Os comentários aparecem na saída do Analisador de banco de dados.

Padrão: nenhum

mode

A estratégia de análise a ser usada ao lidar com documentos que não correspondem ao esquema esperado. Esta opção aceita os seguintes valores:

• ReadConfig.ParseMode.FAILFAST: Lança uma exceção ao analisar um documento que não corresponde ao esquema.

• ReadConfig.ParseMode.PERMISSIVE: Define campos para null quando os tipos de dados não correspondem ao esquema. Para armazenar cada documento inválido como uma string JSON estendida, combine este valor com a opção columnNameOfCorruptRecord .

• ReadConfig.ParseMode.DROPMALFORMED: ignora qualquer documento que não corresponda ao esquema.

Padrão: ReadConfig.ParseMode.FAILFAST

columnNameOfCorruptRecord

Se você definir a mode opção ReadConfig.ParseMode.PERMISSIVE como, essa opção especificará o nome da nova coluna que armazena o documento inválido como JSON estendido. Se você estiver usando um esquema explícito, ele deverá incluir o nome da nova coluna. Se você estiver usando um esquema inferido, o conector Spark adicionará a nova coluna ao final do esquema.

Padrão: nenhum

mongoClientFactory

Chave de configuração MongoClientFactory.
Você pode especificar uma implementação personalizada que deve implementar a com.mongodb.spark.sql.connector.connection.MongoClientFactory interface .

Padrão: com.mongodb.spark.sql.connector.connection.DefaultMongoClientFactory

partitioner

O nome da classe completa do particionador.

Você pode especificar uma implementação personalizada que deve implementar a com.mongodb.spark.sql.connector.read.partitioner.Partitioner interface. Consulte a seção
Configuração do particionador para obter mais informações sobre particionadores.

Padrão: com.mongodb.spark.sql.connector.read.partitioner.SamplePartitioner

partitioner.options.

Prefixo de
configuração do particionador. Consulte a seção Configuração do particionador para obter mais informações sobre particionadores.

sampleSize

O número de documentos a serem amostrados da coleção ao inferir
o esquema.

Padrão: 1000

sql.inferSchema.mapTypes.enabled

Se os tipos de Mapa devem ser habilitados ao inferir o esquema.
Quando habilitados, tipos de estrutura grandes compatíveis são inferidos para um em vez MapType disso.

Padrão: true

sql.inferSchema.mapTypes.minimum.key.size

Tamanho mínimo de StructType antes de inferir MapType como.

Padrão: 250

aggregation.pipeline

Especifica um pipeline de agregação personalizado a ser aplicado à coleção antes de enviar dados para o Spark.
O valor deve ser um documento único JSON estendido ou uma lista de documentos.
Um único documento se assemelha ao seguinte:

{"$match": {"closed": false}}

Uma lista de documentos é semelhante ao seguinte:

[{"$match": {"closed": false}}, {"$project": {"status": 1, "name": 1, "description": 1}}]

IMPORTANTE: os pipelines de agregação personalizados devem ser compatíveis com a estratégia do particionador. Por exemplo, estágios de agregação como $group não funcionam com nenhum particionador que crie mais de uma partição.

aggregation.allowDiskUse

Especifica se o armazenamento em disco deve ser permitido ao executar a agregação.

Padrão: true

outputExtendedJson

trueQuando, o conector converte tipos BSON não suportados pelo Spark em strings JSON estendidas.false Quando, o conector usa o formato JSON relaxado original para tipos não suportados.

Padrão: false

schemaHints

Especifica um esquema parcial de tipos de campo conhecidos a serem usados ao inferir o esquema para a coleção. Para saber mais sobre a schemaHints opção, consulte a seção Especificar campos conhecidos com dicas de esquema.

Padrão: nenhum