Reshard a Collection

Acerca de esta tarea

• Sólo se puede volver a fragmentar una colección a la vez.

• writeConcernMajorityJournalDefault debe ser true.

• Para volver a fragmentar una colección que tenga una restricción de unicidad, la nueva clave de partición debe satisfacer los requisitos del índice único para cualquier índice único existente.

• Los siguientes comandos y métodos de shell correspondientes no son compatibles con la colección que se está redividiendo durante la operación de redivisión:

  • collMod

  • convertToCapped

  • createIndexes

  • createIndex()

  • drop

  • drop()

  • dropIndexes

  • dropIndex()

  • renameCollection

  • renameCollection()

• Si ejecutas una de las siguientes operaciones, la operación espera hasta que termine el nuevo particionado antes de ejecutarse:

  • addShard

  • removeShard

  • dropDatabase en la base de datos que aloja la colección que está sufriendo un reajuste de particiones

• Si la colección que buscas reorganizar usa MongoDB Search, el índice de búsqueda se vuelve inutilizable cuando la operación de revaloración se completa. Se debe reconstruir manualmente el índice de búsqueda una vez que se complete la operación de redistribución de datos.

Antes de comenzar

Antes de volver a dividir tu colección, asegúrate de cumplir los siguientes requisitos:

• Su aplicación puede tolerar un periodo de dos segundos en el que la colección afectada bloquea las escrituras. Durante este periodo, la aplicación experimenta un aumento de latencia.

  Si su carga de trabajo no puede tolerar este requisito, considere refinar su clave de fragmento.

• Su base de datos cumple con estos requisitos de recursos:

  • Asegúrate de que el espacio de almacenamiento disponible en cada partición receptora sea al menos el doble del tamaño de almacenamiento de la colección que se desea refragmentar, más el tamaño total de su índice, dividido por el número de particiones:

    ( ( collection_storage_size + index_size ) * 2 ) / shard_count = storage_req

    Por ejemplo, considere una colección con un tamaño de almacenamiento de 2 TB de datos y un índice de 400 GB. Para distribuirla en cuatro fragmentos, necesitaría:

    ( ( 2 TB collection + 0.4 TB index ) * 2 ) / 4 shards = 1.2 TB storage

    Para redistribuir esta colección, cada partición requiere 1.2 TB de almacenamiento disponible.

    En MongoDB Atlas, es posible que deba actualizar al siguiente nivel de almacenamiento para la operación de re-fragmentación. Puede cambiar a una versión inferior una vez completada la operación.

  • Asegúrate de que tu capacidad de E/S esté por debajo de 50%.

  • Asegúrate de que la carga de tu CPU esté por debajo del 80%.

  Importante

  La base de datos no exige estos requisitos. Si no se asignan suficientes recursos, pueden producirse las siguientes consecuencias:

  • la base de datos se queda sin espacio y se apaga

  • rendimiento reducido

  • la operación tarda más de lo esperado

  Si su aplicación tiene períodos de tiempo con menos tráfico, realice esta operación en la colección durante ese tiempo si es posible.

• Debe reescribir las queries de su aplicación para utilizar tanto la clave de partición actual como la nueva clave de partición.

  Tip

  Si tu aplicación puede tolerar tiempos de inactividad, puedes realizar estos pasos para evitar reescribir las queries de la aplicación para usar tanto la clave de partición actual como la nueva:

  1. Detén tu aplicación.

  2. Reescriba su aplicación para utilizar la nueva clave de fragmento.

  3. Espere hasta que se complete el nuevo particionamiento. Para supervisar el proceso de redistribución, utilice la etapa de $currentOp pipeline.

  4. Implementa tu aplicación reescrita.

  Antes de que se complete la reorganización de los fragmentos, las siguientes consultas devuelven un error si el filtro de consulta no incluye ni la clave de fragmento actual ni un campo único (como _id):

  • deleteOne()

  • findAndModify()

  • findOneAndDelete()

  • findOneAndReplace()

  • findOneAndUpdate()

  • replaceOne()

  • updateOne()

  Para un rendimiento óptimo, le recomendamos que también reescriba otras consultas para incluir la nueva clave de fragmento.

  Una vez completada la operación de refragmentación, puedes remover la clave de partición anterior de las consultas.

• No hay compilaciones de índices en curso. Para comprobar si hay compilaciones de índices en ejecución, utilice $currentOp:

  db.getSiblingDB("admin").aggregate( [
     { $currentOp : { idleConnections: true } },
     { $match: {
           $or: [
               { "op": "command", "command.createIndexes": { $exists: true } },
               { "op": "none", "msg": /^Index Build/ }
           ]
        }
     }
  ] )

  En el documento de resultados, si el valor en el campo inprog es un arreglo vacío, no hay creaciones de índices en curso:

  {
     inprog: [],
     ok: 1,
     '$clusterTime': { ... },
     operationTime: <timestamp>
  }

Pasos

En una operación de refragmentación de una colección, un fragmento puede ser:

• dador, que actualmente almacena los fragmentos para la colección particionada.

• destinatario, que almacena nuevos fragmentos para la colección particionada en función de las claves de partición y zonas.

Una partición puede ser donante y receptor al mismo tiempo.

El servidor de configuración principal siempre es el coordinador de re-sharding e inicia cada fase de la operación de re-sharding.

db.adminCommand({
  reshardCollection: "<database>.<collection>",
  key: <shardkey>
})

db.adminCommand({
  reshardCollection: "<database>.<collection>",
  key: <shardkey>,
  forceRedistribution: true
})

db.getSiblingDB("admin").aggregate([
  { $currentOp: { allUsers: true, localOps: false } },
  {
    $match: {
      type: "op",
      "originatingCommand.reshardCollection": "<database>.<collection>"
    }
  }
])

[
  {
    shard: '<shard>',
    type: 'op',
    desc: 'ReshardingRecipientService | ReshardingDonorService | ReshardingCoordinatorService <reshardingUUID>',
    op: 'command',
    ns: '<database>.<collection>',
    originatingCommand: {
      reshardCollection: '<database>.<collection>',
      key: <shardkey>,
      unique: <boolean>,
      collation: { locale: 'simple' }
    },
    totalOperationTimeElapsedSecs: <number>,
    remainingOperationTimeEstimatedSecs: <number>,
    ...
  },
  ...
]

Comportamiento

Caso de error