Opciones de configuración de lectura en streaming

Overview

Puedes configurar las siguientes propiedades cuando leas datos desde MongoDB en modo transmisión.

{"$match": {"closed": false}}

[{"$match": {"closed": false}}, {"$project": {"status": 1, "name": 1, "description": 1}}]

Cambiar configuración de flujo

Puedes configurar las siguientes propiedades al leer un flujo de cambios desde MongoDB:

Especificación de propiedades en connection.uri

Si utiliza SparkConf para especificar cualquiera de las configuraciones anteriores, puede incluirlas en la connection.uri configuración o enumerarlas individualmente.

El siguiente ejemplo de código muestra cómo especificar la base de datos, la colección y la preferencia de lectura como parte de la configuración connection.uri:

spark.mongodb.read.connection.uri=mongodb://127.0.0.1/myDB.myCollection?readPreference=primaryPreferred

Para mantener el connection.uri más breve y hacer que la configuración sea más fácil de leer, puedes especificarlos individualmente en su lugar:

spark.mongodb.read.connection.uri=mongodb://127.0.0.1/
spark.mongodb.read.database=myDB
spark.mongodb.read.collection=myCollection

spark.mongodb.read.connection.uri=mongodb://127.0.0.1/foobar
spark.mongodb.read.database=bar

Especificando múltiples colecciones en la propiedad collection

Se pueden especificar varias colecciones en la propiedad de configuración del flujo de cambios collection separando los nombres de las colecciones con una coma. No agregue un espacio entre las colecciones a menos que el espacio forme parte del nombre de la colección.

Especifica varias colecciones como se muestra en el siguiente ejemplo:

...
.option("spark.mongodb.collection", "collectionOne,collectionTwo")

Si el nombre de una colección es "*", o si el nombre incluye una coma o una barra invertida (\), debe escapar el carácter de la siguiente manera:

• Si el nombre de una colección utilizada en la opción de configuración collection contiene una coma, el Conector Spark la trata como dos colecciones diferentes. Para evitarlo, debe escapar la coma precediéndola de una barra invertida (\). Escápela como sigue:

  "my\,collection"

• Si el nombre de una colección utilizada en tu opción de configuración de collection es “*”, el Spark Connector lo interpreta como una especificación para escanear todas las colecciones. Para evitar esto, deben escapar el asterisco anteponiéndole una barra invertida (\). Escapa una colección con el nombre "*" de la siguiente manera:

  "\*"

• Si el nombre de una colección usada en tu opción de configuración collection contiene una barra invertida (\), el Spark Connector trata la barra invertida como un carácter de escape, lo que podría cambiar la forma en que interpreta el valor. Para evitar esto, debes escapar la barra invertida precediéndola con otra barra invertida. Escapa una colección llamada "\collection" de la siguiente manera:

  "\\collection"

  Nota

  Al especificar el nombre de la colección como un literal de cadena en Java, debe usar una barra invertida para escapar cada barra invertida. Por ejemplo, escape una colección llamada "\collection" de la siguiente manera:

  "\\\\collection"

Puedes transmitir desde todas las colecciones en la base de datos pasando un asterisco (*) como string para el nombre de la colección.

Especifica todas las colecciones como se muestra en el siguiente ejemplo:

...
.option("spark.mongodb.collection", "*")

Si crea una colección mientras transmite desde todas las colecciones, la nueva colección se incluye automáticamente en la transmisión.

Puedes descartar colecciones en cualquier momento mientras transmites desde varias colecciones.