Opciones de configuración de guardado en transmisión

connection.uri

Requerido.
Clave de configuración de la cadena de conexión.

Valor predeterminado: mongodb://localhost:27017/

database

Requerido.
La configuración del nombre de la base de datos.

collection

Requerido.
La configuración del nombre de la colección.

comment

Comentario que se añadirá a la operación de escritura. Los comentarios aparecen en la salida del Generador de perfiles de base de datos. Valor

predeterminado: Ninguno.

mongoClientFactory

Clave de configuración de MongoClientFactory. Puede
especificar una implementación personalizada que debe implementar la com.mongodb.spark.sql.connector.connection.MongoClientFactory interfaz.

Valor predeterminado:. com.mongodb.spark.sql.connector.connection.DefaultMongoClientFactory

convertJson

Especifica si el conector analiza los valores de cadena y convierte el JSON extendido en BSON.

Esta configuración acepta los siguientes valores:

• any: El conector convierte todos los valores JSON a BSON.

  • "{a: 1}" se vuelve {a: 1}.

  • "[1, 2, 3]" se vuelve [1, 2, 3].

  • "true" se vuelve true.

  • "01234" se vuelve 1234.

  • "{a:b:c}" no cambia.

• objectOrArrayOnly: El conector convierte solo objetos y arreglos JSON a BSON.

  • "{a: 1}" se vuelve {a: 1}.

  • "[1, 2, 3]" se vuelve [1, 2, 3].

  • "true" no cambia.

  • "01234" no cambia.

  • "{a:b:c}" no cambia.

• false: El conector deja todos los valores como cadenas.

Por defecto: false

idFieldList

Especifica un campo o una lista de campos por los que dividir los datos de la colección. Para especificar más de un campo, sepárelos con una coma, como se muestra en el siguiente ejemplo:

"fieldName1,fieldName2"

Por defecto: _id

ignoreNullValues

trueCuando, el conector ignora cualquier null valor al escribir, incluidos los null valores en matrices y documentos anidados.

Valor predeterminado: false

maxBatchSize

Especifica el número máximo de operaciones a agrupar en operaciones masivas.

Valor predeterminado: 512

operationType

Especifica el tipo de operación de guardar a realizar. Puedes configurar una de las siguientes opciones:

• insertInsertar los datos.

• replaceReemplaza un documento existente que coincida con el valor idFieldList por los nuevos datos. Si no existe coincidencia, el valor de upsertDocument indica si el conector inserta un nuevo documento.

• update: Actualiza un documento existente que coincida con el valor idFieldList con los nuevos datos. Si no existe ninguna coincidencia, el valor de upsertDocument indica si el conector inserta un nuevo documento.

Por defecto: replace

ordered

Especifica si se deben realizar operaciones masivas ordenadas.

Valor predeterminado: true

upsertDocument

trueCuando, las operaciones de reemplazo y actualización insertan los datos si no existe ninguna coincidencia.

Para colecciones de series temporales, debe establecer upsertDocument a.false

Valor predeterminado: true

writeConcern.w

Especifica, una opción de confirmación de escritura que solicita que se confirme que la operación de escritura se ha propagado a un número determinado de nodos de MongoDB.w

Para obtener una lista de los valores permitidos para esta opción, consulte la opción WriteConcern w en el manual del servidor MongoDB.

Valor predeterminado:. Acknowledged

writeConcern.journal

Especifica, una opción de confirmación de escritura que solicita que se confirme que los datos se han escrito en el registro en disco según los criterios especificados en la j w opción. Puede especificar true falseo.

Para obtener más información sobre j los valores, consulte la opción WriteConcern j en el manual del servidor MongoDB.

writeConcern.wTimeoutMS

wTimeoutMSEspecifica, una opción de WriteConcern que devuelve un error cuando una operación de escritura supera el número de milisegundos especificado. Si utiliza esta configuración opcional, debe especificar un número entero no negativo.

Para obtener más información sobre wTimeoutMS los valores, consulte WriteConcern wtimeout en el manual del servidor MongoDB.

checkpointLocation

Ruta de acceso absoluta al directorio donde el conector escribe la información de los puntos de control.

Para obtener más información sobre los puntos de control, consulte la Guía de programación de Spark Structured Streaming.

Valor predeterminado: Ninguno.

forceDeleteTempCheckpointLocation

Un valor booleano que especifica si se deben eliminar los datos de punto de control existentes.

Valor predeterminado: false

truncateMode

Especifica cómo truncar una colección al realizar una sobrescritura. Puede establecer esta opción en uno de los siguientes valores:

• TruncateMode.DROP: por defecto. Descarta la colección.

• TruncateMode.TRUNCATEElimina todas las entradas de la colección, pero preserva los índices, las opciones de colección y cualquier configuración de partición. Esto es más lento que una operación de descartar.

ignoreDuplicatesOnInsert

Cuando true se establece en, el conector ignora los errores de clave duplicada al realizar operaciones de inserción no ordenadas. Los datos que se insertan deben incluir un _id valor de campo o los campos especificados en la idFieldList opción.

Valor predeterminado: false