Repartir una colección

Acerca de esta tarea

• Sólo se puede volver a fragmentar una colección a la vez.

• writeConcernMajorityJournalDefault debe true ser.

• Para volver a fragmentar una colección que tiene una restricción de unicidad, la nueva clave de fragmentación debe satisfacer los requisitos de índice único para cualquier índice único existente.

• Los siguientes comandos y los métodos de shell correspondientes no son compatibles con la colección que se está volviendo a fragmentar mientras la operación de fragmentación está en progreso:

  • collMod

  • convertToCapped

  • createIndexes

  • createIndex()

  • drop

  • drop()

  • dropIndexes

  • dropIndex()

  • renameCollection

  • renameCollection()

• Si ejecuta una de las siguientes operaciones, la operación espera hasta que se complete la reorganización antes de ejecutarse:

  • addShard

  • removeShard

  • dropDatabase en la base de datos que alberga la colección que se está reorganizando

• Si la colección que estás repartiendo utiliza Búsqueda de MongoDB: el índice de búsqueda deja de estar disponible al finalizar la reorganización. Debe reconstruirlo manualmente una vez finalizada la reorganización.

Antes de comenzar

Antes de volver a particionar su colección, asegúrese de cumplir con los siguientes requisitos:

• Su aplicación puede tolerar un periodo de dos segundos en el que la colección afectada bloquea las escrituras. Durante este periodo, la aplicación experimenta un aumento de latencia.

  Si su carga de trabajo no puede tolerar este requisito, considere refinar su clave de fragmento.

• Su base de datos cumple estos requisitos de recursos:

  • Asegúrese de que el espacio de almacenamiento disponible en cada fragmento de destinatario sea al menos el doble del tamaño de almacenamiento de la colección que desea volver a fragmentar más su tamaño de índice total, dividido por la cantidad de fragmentos:

    ( ( collection_storage_size + index_size ) * 2 ) / shard_count = storage_req

    Por ejemplo, considere una colección con un tamaño de almacenamiento de 2 TB de datos y un índice de 400 GB. Para distribuirla en cuatro fragmentos, necesitaría:

    ( ( 2 TB collection + 0.4 TB index ) * 2 ) / 4 shards = 1.2 TB storage

    Para volver a fragmentar esta colección, cada fragmento requiere 1.2 TB de almacenamiento disponible.

    En MongoDB Atlas, es posible que deba actualizar al siguiente nivel de almacenamiento para la operación de re-fragmentación. Puede cambiar a una versión inferior una vez completada la operación.

  • Asegúrese de que su capacidad de E/S esté por debajo del 50%.

  • Asegúrese de que la carga de su CPU esté por debajo del 80%.

  Importante

  La base de datos no exige estos requisitos. Si no se asignan suficientes recursos, pueden producirse las siguientes consecuencias:

  • La base de datos se está quedando sin espacio y se está apagando

  • disminución del rendimiento

  • La operación tardó más de lo esperado

  Si su aplicación tiene períodos de tiempo con menos tráfico, realice esta operación en la colección durante ese tiempo si es posible.

• Debe reescribir las consultas de su aplicación para utilizar tanto la clave de fragmento actual como la nueva clave de fragmento.

  Tip

  Si su aplicación puede tolerar el tiempo de inactividad, puede realizar estos pasos para evitar reescribir las consultas de su aplicación para usar las claves de fragmento actuales y nuevas:

  1. Detenga su aplicación.

  2. Reescriba su aplicación para utilizar la nueva clave de fragmento.

  3. Espere a que se complete la repartición. Para supervisar el proceso de repartición, utilice la $currentOp etapa de canalización.

  4. Implementa tu aplicación reescrita.

  Antes de que se complete la reorganización de los fragmentos, las siguientes consultas devuelven un error si el filtro de consulta no incluye ni la clave de fragmento actual ni un campo único (como _id):

  • deleteOne()

  • findAndModify()

  • findOneAndDelete()

  • findOneAndReplace()

  • findOneAndUpdate()

  • replaceOne()

  • updateOne()

  Para un rendimiento óptimo, le recomendamos que también reescriba otras consultas para incluir la nueva clave de fragmento.

  Una vez que se complete la operación de refragmentación, puede eliminar la clave de fragmento anterior de las consultas.

• No hay compilaciones de índices en curso. Para comprobar si hay compilaciones de índices en ejecución, utilice $currentOp:

  db.getSiblingDB("admin").aggregate( [
     { $currentOp : { idleConnections: true } },
     { $match: {
           $or: [
               { "op": "command", "command.createIndexes": { $exists: true } },
               { "op": "none", "msg": /^Index Build/ }
           ]
        }
     }
  ] )

  En el documento de resultados, si el valor en el campo inprog es un arreglo vacío, no hay creaciones de índices en curso:

  {
     inprog: [],
     ok: 1,
     '$clusterTime': { ... },
     operationTime: <timestamp>
  }

Pasos

En una operación de refragmentación de una colección, un fragmento puede ser:

• donante, que actualmente almacena fragmentos para la colección fragmentada.

• destinatario, que almacena nuevos fragmentos para la colección fragmentada en función de las claves y zonas del fragmento.

Un fragmento puede ser donante y receptor al mismo tiempo.

El servidor de configuración principal siempre es el coordinador de re-sharding e inicia cada fase de la operación de re-sharding.

db.adminCommand({
  reshardCollection: "<database>.<collection>",
  key: <shardkey>
})

db.adminCommand({
  reshardCollection: "<database>.<collection>",
  key: <shardkey>,
  forceRedistribution: true
})

db.getSiblingDB("admin").aggregate([
  { $currentOp: { allUsers: true, localOps: false } },
  {
    $match: {
      type: "op",
      "originatingCommand.reshardCollection": "<database>.<collection>"
    }
  }
])

[
  {
    shard: '<shard>',
    type: 'op',
    desc: 'ReshardingRecipientService | ReshardingDonorService | ReshardingCoordinatorService <reshardingUUID>',
    op: 'command',
    ns: '<database>.<collection>',
    originatingCommand: {
      reshardCollection: '<database>.<collection>',
      key: <shardkey>,
      unique: <boolean>,
      collation: { locale: 'simple' }
    },
    totalOperationTimeElapsedSecs: <number>,
    remainingOperationTimeEstimatedSecs: <number>,
    ...
  },
  ...
]

Comportamiento

Caso de error