Reshard a Collection

Acerca de esta tarea

• Solo se puede volver a dividir la partición de una colección a la vez.

• writeConcernMajorityJournalDefault debe ser true.

• Para volver a fragmentar una colección que tenga una restricción de unicidad, la nueva clave de partición debe satisfacer los requisitos del índice único para cualquier índice único existente.

• Los siguientes comandos y métodos de shell correspondientes no son compatibles con la colección que se está redividiendo durante la operación de redivisión:

  • collMod

  • convertToCapped

  • createIndexes

  • createIndex()

  • drop

  • drop()

  • dropIndexes

  • dropIndex()

  • renameCollection

  • renameCollection()

• Si ejecutas una de las siguientes operaciones, la operación espera hasta que termine el nuevo particionado antes de ejecutarse:

  • addShard

  • removeShard

  • dropDatabase en la base de datos que aloja la colección que está sufriendo un reajuste de particiones

• Si la colección que buscas reorganizar usa Búsqueda de Atlas, el índice de búsqueda queda no disponible cuando se completa la operación de resharding. Se debe reconstruir manualmente el índice de búsqueda una vez que se complete la operación de redistribución de datos.

Antes de comenzar

Antes de volver a dividir tu colección, asegúrate de cumplir los siguientes requisitos:

• Su aplicación puede tolerar un período de dos segundos en el que la colección afectada bloquea los guardados. Durante el periodo en el que las écritas están bloqueadas, tu aplicación experimenta un aumento en la latencia.

  Si tu carga de trabajo no puede tolerar este requerimiento, considera refinar la clave de partición en su lugar.

• Su base de datos cumple con estos requisitos de recursos:

  • Asegúrate de que el espacio de almacenamiento disponible en cada partición receptora sea al menos el doble del tamaño de almacenamiento de la colección que se desea refragmentar, más el tamaño total de su índice, dividido por el número de particiones:

    ( ( collection_storage_size + index_size ) * 2 ) / shard_count = storage_req

    Por ejemplo, considera una colección con un tamaño de almacenamiento de 2 TB de datos y un índice de 400 GB. Para distribuirlo en cuatro particiones necesitarías:

    ( ( 2 TB collection + 0.4 TB index ) * 2 ) / 4 shards = 1.2 TB storage

    Para redistribuir esta colección, cada partición requiere 1.2 TB de almacenamiento disponible.

    En MongoDB Atlas, puede que sea necesario que actualices al siguiente nivel de almacenamiento para la operación de resharding. Puedes bajar de versión una vez que la operación se complete.

  • Asegúrate de que tu capacidad de E/S esté por debajo de 50%.

  • Asegúrate de que la carga de tu CPU esté por debajo del 80%.

  Importante

  Estos requisitos no son exigidos por la base de datos. Una falta de asignación de suficientes recursos puede provocar:

  • la base de datos se queda sin espacio y se apaga

  • rendimiento reducido

  • la operación tarda más de lo esperado

  Si tu aplicación tiene periodos de menor tráfico, realiza esta operación en la colección durante ese tiempo si es posible.

• Debe reescribir las queries de su aplicación para utilizar tanto la clave de partición actual como la nueva clave de partición.

  Tip

  Si tu aplicación puede tolerar tiempos de inactividad, puedes realizar estos pasos para evitar reescribir las queries de la aplicación para usar tanto la clave de partición actual como la nueva:

  1. Detén tu aplicación.

  2. Reescribe tu aplicación para usar la nueva clave de partición.

  3. Espere hasta que se complete el nuevo particionamiento. Para supervisar el proceso de redistribución, utilice la etapa de $currentOp pipeline.

  4. Implementa tu aplicación reescrita.

  Antes de que finalice el resharding, las siguientes queries generan un error si el filtro de query no incluye ni la clave de partición actual ni un campo único (como _id):

  • deleteOne()

  • findAndModify()

  • findOneAndDelete()

  • findOneAndReplace()

  • findOneAndUpdate()

  • replaceOne()

  • updateOne()

  Para un rendimiento óptimo, recomendamos que también reescribas otras consultas para incluir la nueva clave de partición.

  Una vez completada la operación de refragmentación, puedes remover la clave de partición anterior de las consultas.

• No es necesario crear un índice en la nueva clave de partición antes de volver a particionar. La operación de redistribución compila automáticamente los índices requeridos durante la fase de índices.

• No hay creaciones de índices en proceso. Para comprobar si hay creaciones de índices en ejecución, utiliza $currentOp:

  db.getSiblingDB("admin").aggregate( [
     { $currentOp : { idleConnections: true } },
     { $match: {
           $or: [
               { "op": "command", "command.createIndexes": { $exists: true } },
               { "op": "none", "msg": /^Index Build/ }
           ]
        }
     }
  ] )

  En el documento de resultados, si el valor en el campo inprog es un arreglo vacío, no hay creaciones de índices en curso:

  {
     inprog: [],
     ok: 1,
     '$clusterTime': { ... },
     operationTime: <timestamp>
  }

Pasos

En una operación de re-sharding de una colección, una partición puede ser:

• dador, que actualmente almacena los fragmentos para la colección particionada.

• destinatario, que almacena nuevos fragmentos para la colección particionada en función de las claves de partición y zonas.

Una partición puede ser donante y receptor al mismo tiempo.

El servidor de configuración primario es siempre el coordinador de replanificación y comienza cada fase de la operación de replanificación.

db.adminCommand({
  reshardCollection: "<database>.<collection>",
  key: <shardkey>
})

db.adminCommand({
  reshardCollection: "<database>.<collection>",
  key: <shardkey>,
  forceRedistribution: true
})

db.getSiblingDB("admin").aggregate([
  { $currentOp: { allUsers: true, localOps: false } },
  {
    $match: {
      type: "op",
      "originatingCommand.reshardCollection": "<database>.<collection>"
    }
  }
])

[
  {
    shard: '<shard>',
    type: 'op',
    desc: 'ReshardingRecipientService | ReshardingDonorService | ReshardingCoordinatorService <reshardingUUID>',
    op: 'command',
    ns: '<database>.<collection>',
    originatingCommand: {
      reshardCollection: '<database>.<collection>',
      key: <shardkey>,
      unique: <boolean>,
      collation: { locale: 'simple' }
    },
    totalOperationTimeElapsedSecs: <number>,
    remainingOperationTimeEstimatedSecs: <number>,
    ...
  },
  ...
]

Comportamiento

Caso de error