$merge Etapa (Atlas Data Federation)

Resolviendo IDS Duplicados en Atlas Data Federation

Para resolver los duplicados, Atlas Data Federation:

1. Escribe documentos en una colección de Atlas X en el orden en que recibe los documentos hasta que encuentra un duplicado.

2. Escribe el documento con el campo _id duplicado y todos los documentos posteriores en una nueva colección de Atlas Y.

3. Ejecuta la etapa especificada $merge para fusionar la colección Y en la colección X.

4. Guarda los documentos resultantes en la colección de destino en el clúster de Atlas especificado.

Remediación de IDs duplicados

Para remediar los campos duplicados de _id, se puede:

1. Incluya una etapa de $sort en su pipeline para especificar el orden en que Atlas Data Federation debe procesar los documentos resultantes.

2. En función del orden de los documentos que fluyen hacia la etapa $merge, elija cuidadosamente el valor de las opciones whenMatched y whenNotMatched de la etapa $merge.

   Ejemplo

   Los siguientes ejemplos muestran cómo Atlas Data Federation resuelve duplicados durante la etapa $merge cuando whenMatched la opción está configurada en keepExisting o replace. Estos ejemplos utilizan los siguientes documentos:

   {
     "_id" : 1,
     "state" : "FL"
   },
   {
     "_id" : 1,
     "state" : "NJ"
   },
   {
     "_id" : 2,
     "state" : "TX"
   }

   keepExistingReemplazar

   Supón que ejecutas el siguiente pipeline en los documentos listados arriba:

   db.s3coll.aggregate([
     {
       "$sort": {
         "_id": 1,
         "state": 1,
       }
     },
     {
       "$merge": {
         "into": {
           "atlas": {
             "clusterName": "clustername",
             "db": "clusterdb",
             "coll": "clustercoll"
           }
         },
         "on": "_id",
         "whenMatched": "keepExisting",
         "whenNotMatched": "insert"
       }
     }
   ])

   Atlas Data Federation escribe los siguientes datos en dos colecciones llamadas X y Y:

   // Collection X
   {
      "_id" : 1,
      "state" : "FL"
   }
   // Collection Y
   {
      "_id" : 1,
      "state" : "NJ"
   },
   {
      "_id" : 2,
      "state" : "TX"
   }

   Atlas Data Federation luego fusiona documentos de la colección Y en la colección X. Para la opción de whenMatched: keepExisting en el pipeline, Atlas Data Federation mantiene el documento existente con _id: 1 en la colección X. Por lo tanto, el resultado de la pipeline con duplicados contiene los siguientes documentos:

   {
     "_id" : 1,
     "state" : "FL"
   },
   {
     "_id" : 2,
     "state" : "TX"
   }

   Atlas Data Federation fusiona estos documentos en la colección de destino en el clúster Atlas especificado.

3. Evitar usar la opción whenNotMatched: discard.

   Ejemplo

   Este ejemplo muestra cómo Atlas Data Federation resuelve duplicados cuando la opción whenNotMatched está configurada en discard usando los siguientes documentos:

   {
     "_id" : 1,
     "state" : "AZ"
   },
   {
     "_id" : 1,
     "state" : "CA"
   },
   {
     "_id" : 2,
     "state" : "NJ"
   },
   {
     "_id" : 3,
     "state" : "NY"
   },
   {
     "_id" : 4,
     "state" : "TX"
   }

   Supón que ejecutas el siguiente pipeline en los documentos listados arriba:

   db.archivecoll.aggregate([
     {
       "$sort": {
         "_id": 1,
         "state": 1,
       }
     },
     {
       "$merge": {
         "into": {
           "atlas": {
             "clusterName": "clustername",
             "db": "clusterdb",
             "coll": "clustercoll"
           }
         },
         "on": "_id",
         "whenMatched": "replace",
         "whenNotMatched": "discard"
       }
     }
   ])

   Atlas Data Federation escribe los siguientes datos en dos colecciones llamadas X y Y:

   // Collection X
   {
     "_id" : 1,
     "state" : "AZ"       // gets replaced
   }
   // Collection Y
   {
     "_id" : 1,
     "state" : "CA"
   }
   {
     "_id" : 2,
     "state" : "NJ"       // gets discarded
   }
   {
     "_id" : 3,
     "state" : "NY"       // gets discarded
   }
   {
     "_id" : 4,
     "state" : "TX"       // gets discarded
   }

   Atlas Data Federation fusiona documentos de la colección Y en la colección X. Para la opción whenMatched: replace en el pipeline, Atlas Data Federation reemplaza el documento con _id: 1 en la colección X con el documento con _id: 1 en la colección Y. Para la opción whenNotMatched: discard en el pipeline, Atlas Data Federation descarta documentos en la colección Y que no coincidan con un documento en la colección X. Por lo tanto, el resultado de la pipeline con duplicados contiene únicamente el siguiente documento:

   {
     "_id" : 1,
     "state" : "CA"
   }

   Atlas Data Federation luego fusiona este documento en la colección objetivo en el clúster Atlas especificado.

Combinar datos usando $merge

La siguiente sintaxis de ejemplo $merge escribe los resultados en una colección sampleDB.mySampleData en el clúster de Atlas denominado myTestCluster. El ejemplo no especifica un ID del proyecto; la $merge etapa utiliza el ID del Proyecto que contiene su instancia federada de base de datos.

1
db.mySampleData.aggregate(
2
  [
3
    {
4
      "$merge": {
5
        "into": {
6
          "atlas": {
7
            "clusterName": "myTestCluster",
8
            "db": "sampleDB",
9
            "coll": "mySampleData"
10
          }
11
        },
12
        ...
13
      }
14
    }
15
  ]
16
)

Ejecute $merge en segundo plano

El siguiente ejemplo $merge sintaxis guarda los resultados en una colección sampleDB.mySampleData en el clúster de Atlas denominado myTestCluster en segundo plano. El ejemplo no especifica un ID del proyecto; la $merge etapa utiliza el ID del Proyecto que contiene su instancia federada de base de datos.

1
db.runCommand({
2
  "aggregate": "mySampleData",
3
  "pipeline": [
4
    {
5
      "$merge": {
6
        "into": {
7
          "atlas": {
8
            "clusterName": "myTestCluster",
9
            "db": "sampleDB",
10
            "coll": "mySampleData"
11
          }
12
        },
13
        ...
14
      }
15
    }
16
  ],
17
  { "background" : true }
18
})