Reshard a Collection

Acerca de esta tarea

• Solo se puede volver a dividir la partición de una colección a la vez.

• writeConcernMajorityJournalDefault debe ser true.

• Para volver a fragmentar una colección que tenga una restricción de unicidad, la nueva clave de partición debe satisfacer los requisitos del índice único para cualquier índice único existente.

• Los siguientes comandos y métodos de shell correspondientes no son compatibles con la colección que se está redividiendo durante la operación de redivisión:

  • collMod

  • convertToCapped

  • createIndexes

  • createIndex()

  • drop

  • drop()

  • dropIndexes

  • dropIndex()

  • renameCollection

  • renameCollection()

• Si ejecutas una de las siguientes operaciones, la operación espera hasta que termine el nuevo particionado antes de ejecutarse:

  • addShard

  • removeShard

  • dropDatabase en la base de datos que aloja la colección que está sufriendo un reajuste de particiones

• Si la colección que está redistribuyendo utiliza MongoDB Search, el índice de búsqueda deja de estar disponible una vez finalizada la operación de redistribución. Deberá reconstruir manualmente el índice de búsqueda una vez que finalice dicha operación.

• Si la colección que está redistribuyendo está archivada en Atlas Online Archives, los archivos de archivo en línea se marcan como Orphaned una vez que finaliza la operación de redistribución. Puede crear otro archivo en línea para la misma base de datos, colección y campos que el archivo huérfano, siempre que no exista otro archivo con la misma combinación en estado Active.

Antes de comenzar

Antes de comenzar el re-sharding de tu colección, asegúrate de cumplir con los siguientes requisitos:

• Su aplicación puede tolerar un período de dos segundos en el que la colección afectada bloquea los guardados. Durante el periodo en el que las écritas están bloqueadas, tu aplicación experimenta un aumento en la latencia.

  Si tu carga de trabajo no puede tolerar este requerimiento, considera refinar la clave de partición en su lugar.

• Su base de datos cumple con estos requisitos de recursos:

  • Asegúrate de que el espacio de almacenamiento disponible en cada partición receptora sea al menos el doble del tamaño de almacenamiento de la colección que se desea refragmentar, más el tamaño total de su índice, dividido por el número de particiones:

    ( ( collection_storage_size + index_size ) * 2 ) / shard_count = storage_req

    Por ejemplo, considera una colección con un tamaño de almacenamiento de 2 TB de datos y un índice de 400 GB. Para distribuirlo en cuatro particiones necesitarías:

    ( ( 2 TB collection + 0.4 TB index ) * 2 ) / 4 shards = 1.2 TB storage

    Para redistribuir esta colección, cada partición requiere 1.2 TB de almacenamiento disponible.

    En MongoDB Atlas, es posible que debas mejorar al siguiente nivel de almacenamiento para la operación de redistribución de fragmentos. Puedes revertir la actualización una vez que la operación se haya completado.

  • Asegúrate de que tu capacidad de E/S esté por debajo de 50%.

  • Asegúrate de que la carga de tu CPU esté por debajo del 80%.

  Importante

  Estos requisitos no son exigidos por la base de datos. Una falta de asignación de suficientes recursos puede provocar:

  • la base de datos se queda sin espacio y se apaga

  • rendimiento reducido

  • la operación tarda más de lo esperado

  Si tu aplicación tiene periodos de menor tráfico, realiza esta operación en la colección durante ese tiempo si es posible.

• No es necesario crear un índice en la nueva clave de partición antes de volver a particionar. La operación de redistribución compila automáticamente los índices requeridos durante la fase de índices.

• No hay creaciones de índices en proceso. Para comprobar si hay creaciones de índices en ejecución, utiliza $currentOp:

  db.getSiblingDB("admin").aggregate( [
     { $currentOp : { idleConnections: true } },
     { $match: {
           $or: [
               { "op": "command", "command.createIndexes": { $exists: true } },
               { "op": "none", "msg": /^Index Build/ }
           ]
        }
     }
  ] )

  En el documento de resultados, si el valor en el campo inprog es un arreglo vacío, no hay creaciones de índices en curso:

  {
     inprog: [],
     ok: 1,
     '$clusterTime': { ... },
     operationTime: <timestamp>
  }

Pasos

En una operación de re-sharding de una colección, una partición puede ser:

• dador, que actualmente almacena los fragmentos para la colección particionada.

• destinatario, que almacena nuevos fragmentos para la colección particionada en función de las claves de partición y zonas.

Una partición puede ser donante y receptor al mismo tiempo.

El servidor de configuración primario es siempre el coordinador de replanificación y comienza cada fase de la operación de replanificación.

db.adminCommand({
  reshardCollection: "<database>.<collection>",
  key: <shardkey>
})

db.adminCommand({
  reshardCollection: "<database>.<collection>",
  key: <shardkey>,
  forceRedistribution: true
})

db.getSiblingDB("admin").aggregate([
  { $currentOp: { allUsers: true, localOps: false } },
  {
    $match: {
      type: "op",
      "originatingCommand.reshardCollection": "<database>.<collection>"
    }
  }
])

[
  {
    shard: '<shard>',
    type: 'op',
    desc: 'ReshardingRecipientService | ReshardingDonorService | ReshardingCoordinatorService <reshardingUUID>',
    op: 'command',
    ns: '<database>.<collection>',
    originatingCommand: {
      reshardCollection: '<database>.<collection>',
      key: <shardkey>,
      unique: <boolean>,
      collation: { locale: 'simple' }
    },
    totalOperationTimeElapsedSecs: <number>,
    remainingOperationTimeEstimatedSecs: <number>,
    ...
  },
  ...
]

Comportamiento

Caso de error