Sincronização filtrada

Sintaxe de filtro

O endpoint da API start aceita dois campos que configuram a sincronização filtrada: includeNamespaces e excludeNamespaces. Cada campo usa um array de filtros que especifica os bancos de dados e coleções a serem incluídos ou excluídos da sincronização.

Os filtros têm a seguinte sintaxe:

"includeNamespaces": [
    {
       "database": "<database-name>",
       "collections": [
          "<collection-name>"
       ]
       "databaseRegex": {
          "pattern": "<regex-pattern>",
          "options": "<options>"
       },
       "collectionsRegex": {
          "pattern": "<regex-pattern>",
          "options": "<options>"
       }
    }
 ],
 "excludeNamespaces": [
    {
       "database": "<database-name>",
       "collections": [
          "<collection-name>"
       ]
       "databaseRegex": {
          "pattern": "<regex-pattern>",
          "options": "<options>"
       },
       "collectionsRegex": {
          "pattern": "<regex-pattern>",
          "options": "<options>"
       }
    }
 ]

Os filtros devem incluir o campo database ou o campo databaseRegex.

Se precisar que o filtro corresponda a coleção específicas, você pode usar a array collections para especificar coleção individualmente ou definir uma expressão regular usando o campo collectionsRegex.

Configurar um filtro

"includeNamespaces": [
   {
      "database": "sales",
      "collectionsRegex": {
         "pattern": "^accounts_.+?$",
         "options": "ms"
      }
],
"excludeNamespaces": [
    {
        "database": "sales",
        "collections": [
            "accounts_old"
        ]
    }
]

curl -X POST "http://localhost:27182/api/v1/start" --data '
   {
      "source": "cluster0",
      "destination": "cluster1",
      "includeNamespaces": [
         {
             "database": "sales",
             "collectionsRegex": {
                "pattern": "^accounts_.+$",
                "options": "i"
             }
         }, {
            "database": "marketing"
         }
      ]
   } '

Para obter um exemplo de configuração, consulte a página Como executar o mongosync com um filtro.

Substituir um filtro existente

Você não pode atualizar um filtro existente. Você deve interromper o processo de sincronização em andamento, preparar o cluster de destino e reiniciar mongosync com um novo filtro.

Quando mongosync executou o filtro original, ele criou bancos de dados com seus dados ("bancos de dados do usuário") e o banco de dados do sistema mongosync_reserved_for_internal_use no cluster de destino. Você deve remover esses bancos de dados antes de reiniciar o mongosync com seu novo filtro.

Siga estas etapas para preparar o cluster de destino para um novo filtro.

Adicionar e renomear coleções

Você pode, com algumas restrições, adicionar ou rename a collection durante uma sincronização filtrada.

Filtragem com mapReduce e $out

Para usar o estágio de agregação $out ou o comando mapReduce (quando definido para criar ou substituir uma coleção) com filtragem, é necessário filtrar todo o banco de dados e não só a coleção especificada.

Por exemplo, considere este pipeline de agregação:

use library
db.books.aggregate( [
   { $group : { _id : "$author", titles: { $push: "$title" } } },
   { $out : "authors" }
] )

O estágio $out cria a coleção authors no banco de dados library. Se desejar sincronizar a coleção authors, especifique todo o banco de dados library no filtro. O filtro não funcionará se você especificar apenas a coleção authors.

Este filtro funciona:

"includeNamespaces": [
  {
    "database": "library"
  }
]

Este filtro não funciona:

"includeNamespaces": [
  {
    "database": "library",
    "collections": [ "authors", "books" ]  // DOES NOT WORK WITH $OUT
  }
]

Limitações

• A filtragem não é compatível com a sincronização reversível.

• O cluster de destino não deve conter dados de usuários antes de iniciar.

• O cluster de destino não deve conter o banco de dados do sistema mongosync_reserved_for_internal_use antes de iniciar.

• Não é possível modificar um filtro em uso. Para criar um novo filtro, consulte Como substituir um filtro existente.

• Só é possível renomear coleções em determinadas situações. Para obter mais detalhes, consulte a página Como adicionar e renomear coleções.

• Se um filtro incluir um modo de exibição, mas não a coleção base, somente os metadados do modo de exibição serão sincronizados com o cluster de destino. Para incluir os documentos de visualização, você também deve sincronizar a coleção base.

• Não é possível especificar coleções do sistema ou bancos de dados do sistema em um filtro.

• Para utilizar o estágio de agregação $out ou o comando mapReduce (quando definido para criar ou substituir uma coleção) com filtragem, você deve configurar o filtro para utilizar o banco de dados inteiro. Você não pode limitar o filtro às coleções dentro do banco de dados.

  Para obter mais informações, consulte Filtragem com mapReduce e $out.

Exemplos

"includeNamespaces" : [
      {
          "database" : "sales",
          "collections": [ "EMEA", "APAC" ]
      },
      {
          "database" : "marketing"
      }
   ]

{
   "source": "cluster0",
   "destination": "cluster1",
   "includeNamespaces":
      [
         { "database" : "students", "collections": ["undergrad", "graduate", "adjuncts"] },
         { "database" : "staff" }
      ]
}

// This code works 
use admin
db.runCommand( { renameCollection: "staff.employees", to: "staff.salaried" } )

// This code works 
use admin
db.runCommand( { renameCollection: "students.graduate", to: "students.adjuncts" } )

// This code produces an error and mongosync stops syncing 
use admin
db.runCommand( { renameCollection: "students.graduate", to: "students.notAFilteredCollection" } )

use admin
db.runCommand( { renameCollection: "staff.employees", to: "staff.onPayroll" } )