Página inicial do Docs → Visualizar & analisar dados → Conector do Spark
Opções de configuração de gravação de streaming
Visão geral
Você pode configurar as seguintes propriedades ao gravar dados no MongoDB no modo de streaming.
Observação
Se você usa o SparkConf para definir as configurações de gravação do conector, insira spark.mongodb.write. como prefixo em cada propriedade.
Nome da propriedade | Descrição |
|---|---|
connection.uri | Obrigatório. A chave de configuração da cadeia de conexão. Padrão: mongodb://localhost:27017/ |
database | Obrigatório. A configuração do nome do banco de dados. |
collection | Obrigatório. A configuração do nome da coleção. |
comment | O comentário a ser anexado à operação de escrita. Os comentários aparecem na saída do Analisador de banco de dados. Padrão: nenhum |
mongoClientFactory | Chave de configuração do MongoClientFactory. Você pode especificar uma implementação personalizada que deverá implementar a interface do com.mongodb.spark.sql.connector.connection.MongoClientFactory.Padrão: com.mongodb.spark.sql.connector.connection.DefaultMongoClientFactory |
checkpointLocation | O caminho do arquivo absoluto do diretório no qual o conector grava informações do ponto de verificação. Para obter mais informações sobre checkpoints, consulte o Guia de programação de transmissão estruturada do Spark Padrão: nenhum |
forceDeleteTempCheckpointLocation | Um valor booleano que especifica se os dados de checkpoint existentes devem ser excluídos. Padrão: false |
Especificando propriedades em connection.uri
Se você usa SparkConf para especificar qualquer uma das configurações anteriores, você poderá incluí-las na configuração do connection.uri ou listá-las individualmente.
O exemplo de código a seguir mostra como especificar o banco de dados, a coleção e a configuração convertJson como parte da configuração connection.uri:
spark.mongodb.write.connection.uri=mongodb://127.0.0.1/myDB.myCollection?convertJson=any
Para manter o connection.uri curto e facilitar a leitura das configurações, você pode especificá-las individualmente:
spark.mongodb.write.connection.uri=mongodb://127.0.0.1/ spark.mongodb.write.database=myDB spark.mongodb.write.collection=myCollection spark.mongodb.write.convertJson=any
Importante
Se você especificar uma configuração em connection.uri e em sua própria linha, a configuração connection.uri terá precedência. Por exemplo, na configuração abaixo, o banco de dados de conexão é foobar:
spark.mongodb.write.connection.uri=mongodb://127.0.0.1/foobar spark.mongodb.write.database=bar