流式读取配置选项

Overview

以流式传输模式从 MongoDB 读取数据时，可以配置以下属性。

{"$match": {"closed": false}}

[{"$match": {"closed": false}}, {"$project": {"status": 1, "name": 1, "description": 1}}]

变更流配置

从 MongoDB 读取变更流时，您可以配置以下属性：

指定属性，在 connection.uri

如果使用 SparkConf 指定了之前的任何设置，可以将其包含在 connection.uri 设置中，也可以单独列出。

以下代码示例显示如何将数据库、集合和读取偏好指定为 connection.uri 设置的一部分：

spark.mongodb.read.connection.uri=mongodb://127.0.0.1/myDB.myCollection?readPreference=primaryPreferred

为了缩短 connection.uri 并使设置更易于阅读，您可以改为单独指定它们：

spark.mongodb.read.connection.uri=mongodb://127.0.0.1/
spark.mongodb.read.database=myDB
spark.mongodb.read.collection=myCollection
spark.mongodb.read.readPreference.name=primaryPreferred

spark.mongodb.read.connection.uri=mongodb://127.0.0.1/foobar
spark.mongodb.read.database=bar

在 属性中指定多个集合collection

您可以在collection变更流 配置属性中指定多个集合，用逗号分隔集合名称。 不要在集合之间添加空格，除非空格是集合名称的一部分。

指定多个集合，如下例所示：

...
.option("spark.mongodb.collection", "collectionOne,collectionTwo")

如果集合名称为 "*"，或者名称包含逗号或反斜杠 (\)，则必须按如下方式对字符进行转义：

• 如果collection配置选项中使用的集合名称包含逗号，则 Spark Connector 会将其视为两个不同的集合。 为避免这种情况，必须在逗号前面加上反斜杠 (\) 来对逗号进行转义。 对名为 "my,collection" 的集合进行转义，如下所示：

  "my\,collection"

• 如果collection配置选项中使用的集合名称为“*”，Spark Connector 会将其解释为扫描所有集合的规范。 为避免这种情况，必须在星号前加上反斜杠 (\) 对星号进行转义。 对名为 "*" 的集合进行转义，如下所示：

  "\*"

• 如果collection配置选项中使用的集合名称包含反斜杠 (\)，则 Spark Connector 会将反斜杠视为转义字符，这可能会改变它对该值的解释方式。 为避免这种情况，必须在反斜杠前面加上另一个反斜杠来对其进行转义。 对名为 "\collection" 的集合进行转义，如下所示：

  "\\collection"

  注意

  string在 中将集合名称指定为Java 文字时，必须使用另一个反斜杠进一步转义每个反斜杠。例如，对名为 "\collection" 的集合进行转义，如下所示：

  "\\\\collection"

您可以通过将星号 (*) 作为集合名称的string传递，从数据库中的所有集合进行流式传输。

指定所有集合，如下例所示：

...
.option("spark.mongodb.collection", "*")

如果您在从所有集合进行流式传输时创建集合，则新集合会自动包含在流中。

在从多个集合进行流式传输时，您可以随时删除集合。