已筛选同步

过滤器语法

start API 端点接受两个配置过滤同步的字段：includeNamespaces 和 excludeNamespaces。每个字段都有一个过滤器数组，用于指定要在同步中包含或排除的数据库和集合。

过滤器采用以下语法：

"includeNamespaces": [
    {
       "database": "<database-name>",
       "collections": [
          "<collection-name>"
       ]
       "databaseRegex": {
          "pattern": "<regex-pattern>",
          "options": "<options>"
       },
       "collectionsRegex": {
          "pattern": "<regex-pattern>",
          "options": "<options>"
       }
    }
 ],
 "excludeNamespaces": [
    {
       "database": "<database-name>",
       "collections": [
          "<collection-name>"
       ]
       "databaseRegex": {
          "pattern": "<regex-pattern>",
          "options": "<options>"
       },
       "collectionsRegex": {
          "pattern": "<regex-pattern>",
          "options": "<options>"
       }
    }
 ]

要学习；了解有关 pattern 和 options 正则表达式语法的更多信息，请参阅筛选器中的正则表达式。

过滤器必须包含 database 字段或 databaseRegex 字段。

如果您需要过滤器来匹配特定的集合，您可以使用 collections 数组单独指定集合，也可以使用 collectionsRegex 字段定义正则表达式。

配置过滤器

"includeNamespaces": [
   {
      "database": "sales",
      "collectionsRegex": {
         "pattern": "^accounts_.+?$",
         "options": "ms"
      }
],
"excludeNamespaces": [
    {
        "database": "sales",
        "collections": [
            "accounts_old"
        ]
    }
]

curl -X POST "http://localhost:27182/api/v1/start" --data '
   {
      "source": "cluster0",
      "destination": "cluster1",
      "includeNamespaces": [
         {
             "database": "sales",
             "collectionsRegex": {
                "pattern": "^accounts_.+$",
                "options": "i"
             }
         }, {
            "database": "marketing"
         }
      ]
   } '

有关配置示例，请参阅：使用过滤器启动 mongosync。

更换现有过滤器

您无法更新现有的过滤器。您必须停止正在进行的同步过程，准备目标集群，然后使用新的过滤器重启 mongosync。

当 mongosync 运行原始过滤器时，它会在目标集群上创建包含您的数据的数据库（“用户数据库”）和 mongosync_reserved_for_internal_use 系统数据库。在使用新过滤器重新启动 mongosync 之前，必须删除这些数据库。

请按照以下步骤为新过滤器准备目标集群。

添加和重命名集合

在过滤同步过程中，您可以添加或 rename a collection，但有一些限制。

使用 mapReduce 和 $out 进行过滤

要使用带有过滤功能的 $out 聚合阶段或 mapReduce 命令（当设置为创建或替换集合时），必须过滤整个数据库，而不仅仅是指定的集合。

例如，考虑以下聚合管道：

use library
db.books.aggregate( [
   { $group : { _id : "$author", titles: { $push: "$title" } } },
   { $out : "authors" }
] )

$out 阶段会在 library 数据库中创建 authors 集合。如果要同步 authors 集合，您必须在过滤器中指定整个 library 数据库。如果您仅指定 authors 集合，过滤器将无法工作。

此过滤器起作用：

"includeNamespaces": [
  {
    "database": "library"
  }
]

以下过滤器不起作用：

"includeNamespaces": [
  {
    "database": "library",
    "collections": [ "authors", "books" ]  // DOES NOT WORK WITH $OUT
  }
]

限制

• 可逆同步不支持筛选功能。

• 启动前，目标集群不能包含用户数据。

• 目标集群在启动前不能包含 mongosync_reserved_for_internal_use 系统数据库。

• 您无法修改正在使用的过滤器。如需创建新的过滤器，请参阅：替换现有过滤器。

• 您只能在某些情况下重命名集合。有关更多详情，请参阅：添加和重命名集合。

• 如果过滤器包含视图但不包含基本集合，则只有视图元数据会同步到目标集群。要包含视图文档，您还必须同步基本集合。

• 不能在筛选器中指定系统集合或系统数据库。

• 如需使用带有过滤功能的 $out 聚合阶段或 mapReduce 命令（当设置为创建或替换集合时），必须将过滤器配置为使用整个数据库。不能将过滤器限制在数据库内的集合上。

  有关更多信息，请参阅使用 mapReduce 和 $out 进行过滤。

• 筛选不支持双重写入阻塞。您可以使用仅限目标的写入阻塞。

示例

"includeNamespaces" : [
      {
          "database" : "sales",
          "collections": [ "EMEA", "APAC" ]
      },
      {
          "database" : "marketing"
      }
   ]

{
   "source": "cluster0",
   "destination": "cluster1",
   "includeNamespaces":
      [
         { "database" : "students", "collections": ["undergrad", "graduate", "adjuncts"] },
         { "database" : "staff" }
      ]
}

// This code works 
use admin
db.runCommand( { renameCollection: "staff.employees", to: "staff.salaried" } )

// This code works 
use admin
db.runCommand( { renameCollection: "students.graduate", to: "students.adjuncts" } )

// This code produces an error and mongosync stops syncing 
use admin
db.runCommand( { renameCollection: "students.graduate", to: "students.notAFilteredCollection" } )

use admin
db.runCommand( { renameCollection: "staff.employees", to: "staff.onPayroll" } )