Visão geral
Você pode configurar as seguintes propriedades ao gravar dados no MongoDB no modo de lote.
Observação
Se você usar SparkConf para definir as configurações de gravação do conector, insira spark.mongodb.write. como prefixo em cada propriedade.
Nome da propriedade | Descrição | |
|---|---|---|
| Obrigatório. | |
| Obrigatório. | |
| Obrigatório. | |
| O comentário a ser anexado à operação de escrita. Os comentários aparecem na saída do Analisador de banco de dados. | |
| Chave de configuração MongoClientFactory. | |
| Especifica se o conector analisa valores de string e converte JSON estendido em BSON.
Padrão: | |
| Especifica um campo ou lista de campos para divisão os dados da collection. Para especificar mais de um campo, separe-os usando uma vírgula , conforme mostrado no exemplo a seguir : Padrão: | |
|
| |
| Especifica o número máximo de operações em lote em operações em massa. | |
| Especifica o tipo de operação de gravação a ser executada. Você pode definir isso como um dos valores a seguir:
| |
| Especifica se as operações ordenadas em massa devem ser executadas. | |
| Quando, | |
|
| |
| Especifica, uma opção de write concern que solicita confirmação de que os dados foram gravados no diário em disco de acordo com os critérios especificados na | |
| Especifica | |
| Quando definido |
Especificando propriedades em connection.uri
Se você usa SparkConf para especificar qualquer uma das configurações anteriores, você poderá incluí-las na configuração do connection.uri ou listá-las individualmente.
O exemplo de código a seguir mostra como especificar o banco de dados, a coleção e a configuração convertJson como parte da configuração connection.uri:
spark.mongodb.write.connection.uri=mongodb://127.0.0.1/myDB.myCollection?convertJson=any
Para manter o connection.uri curto e facilitar a leitura das configurações, você pode especificá-las individualmente:
spark.mongodb.write.connection.uri=mongodb://127.0.0.1/ spark.mongodb.write.database=myDB spark.mongodb.write.collection=myCollection spark.mongodb.write.convertJson=any
Importante
Se você especificar uma configuração em connection.uri e em sua própria linha, a configuração connection.uri terá precedência. Por exemplo, na configuração abaixo, o banco de dados de conexão é foobar:
spark.mongodb.write.connection.uri=mongodb://127.0.0.1/foobar spark.mongodb.write.database=bar