Opciones de configuración de lectura en streaming

Overview

Puedes configurar las siguientes propiedades cuando leas datos desde MongoDB en modo transmisión.

{"$match": {"closed": false}}

[{"$match": {"closed": false}}, {"$project": {"status": 1, "name": 1, "description": 1}}]

Cambiar la configuración del flujo

Puede configurar las siguientes propiedades al leer un flujo de cambios desde MongoDB:

Especificación de propiedades en connection.uri

Si utiliza SparkConf para especificar cualquiera de las configuraciones anteriores, puede incluirlas en la connection.uri configuración o enumerarlas individualmente.

El siguiente ejemplo de código muestra cómo especificar la base de datos, la colección y la preferencia de lectura como parte de la configuración connection.uri:

spark.mongodb.read.connection.uri=mongodb://127.0.0.1/myDB.myCollection?readPreference=primaryPreferred

Para mantener el connection.uri más breve y hacer que la configuración sea más fácil de leer, puedes especificarlos individualmente en su lugar:

spark.mongodb.read.connection.uri=mongodb://127.0.0.1/
spark.mongodb.read.database=myDB
spark.mongodb.read.collection=myCollection

spark.mongodb.read.connection.uri=mongodb://127.0.0.1/foobar
spark.mongodb.read.database=bar

Especificación de múltiples colecciones en la collection propiedad

Puede especificar varias colecciones en la propiedad de configuración del flujo de cambios collection separando los nombres de las colecciones con una coma. No deje espacios entre las colecciones a menos que formen parte del nombre de la colección.

Especifique varias colecciones como se muestra en el siguiente ejemplo:

...
.option("spark.mongodb.collection", "collectionOne,collectionTwo")

Si el nombre de una colección es "*", o si el nombre incluye una coma o una barra invertida (\), debe escapar el carácter de la siguiente manera:

• Si el nombre de una colección utilizada en la opción de configuración collection contiene una coma, el Conector Spark la trata como dos colecciones diferentes. Para evitarlo, debe escapar la coma precediéndola de una barra invertida (\). Escápela como sigue:

  "my\,collection"

• Si el nombre de una colección utilizada en la opción de configuración collection es "*", el Conector Spark lo interpreta como una especificación para escanear todas las colecciones. Para evitar esto, debe evitar el asterisco precediéndolo de una barra invertida (\). Para una colección llamada "*", siga estos pasos:

  "\*"

• Si el nombre de una colección utilizada en la opción de configuración collection contiene una barra invertida (\), el Conector Spark la trata como un carácter de escape, lo que podría cambiar la interpretación del valor. Para evitarlo, debe escapar la barra invertida precediéndola con otra barra invertida. Escápese una colección llamada "\collection" de la siguiente manera:

  "\\collection"

  Nota

  Al especificar el nombre de la colección como un literal de cadena en Java, debe usar una barra invertida para escapar cada barra invertida. Por ejemplo, escape una colección llamada "\collection" de la siguiente manera:

  "\\\\collection"

Puede transmitir desde todas las colecciones de la base de datos pasando un asterisco (*) como cadena para el nombre de la colección.

Especifique todas las colecciones como se muestra en el siguiente ejemplo:

...
.option("spark.mongodb.collection", "*")

Si crea una colección mientras transmite desde todas las colecciones, la nueva colección se incluye automáticamente en la transmisión.

Puedes eliminar colecciones en cualquier momento mientras transmites desde varias colecciones.