Repartir una colección

Acerca de esta tarea

• Sólo se puede volver a fragmentar una colección a la vez.

• writeConcernMajorityJournalDefaultdebe true ser.

• Para volver a fragmentar una colección que tiene una restricción de unicidad, la nueva clave de fragmentación debe satisfacer los requisitos de índice único para cualquier índice único existente.

• Los siguientes comandos y los métodos de shell correspondientes no son compatibles con la colección que se está volviendo a fragmentar mientras la operación de fragmentación está en progreso:

  • collMod

  • convertToCapped

  • createIndexes

  • createIndex()

  • drop

  • drop()

  • dropIndexes

  • dropIndex()

  • renameCollection

  • renameCollection()

• Los siguientes comandos y métodos no son compatibles con el clúster mientras la operación de reorganización está en curso:

  • addShard

  • removeShard

  • db.createCollection()

  • dropDatabase

  Advertencia

  El uso de cualquiera de los comandos anteriores durante una operación de refragmentación provoca que dicha operación falle.

• Si la colección que se va a reparticionar utiliza Búsqueda Atlas: el índice de búsqueda dejará de estar disponible al finalizar la reorganización. Debe reconstruirlo manualmente una vez finalizada la reorganización.

• No es posible volver a fragmentar una colección de series de tiempo fragmentada.

Antes de comenzar

Antes de volver a particionar su colección, asegúrese de cumplir con los siguientes requisitos:

• Su aplicación puede tolerar un periodo de dos segundos en el que la colección que se está reparticionando bloquea las escrituras. Durante este periodo, la aplicación experimenta un aumento de latencia. Si su carga de trabajo no puede soportar este requisito, considere refinar su clave de shard.

• Su base de datos cumple estos requisitos de recursos:

  • Espacio de almacenamiento disponible: asegúrese de que el espacio de almacenamiento disponible en cada fragmento en el que se distribuirá la colección sea al menos el doble del tamaño de la colección que desea volver a fragmentar y su tamaño de índice total, dividido por la cantidad de fragmentos.

    storage_req = ( ( collection_size + index_size ) * 2 ) / shard_count

    Por ejemplo, considere una colección que contiene 2 TB de datos y tiene un índice de 400 GB distribuido en cuatro fragmentos. Para realizar una operación de refragmentación en esta colección, cada fragmento requeriría 1.2 TB de almacenamiento disponible.

    1.2 TB storage = ( ( 2 TB collection + 0.4 TB index ) * 2 ) / 4 shards

    Para cumplir con los requisitos de almacenamiento, es posible que deba actualizar al siguiente nivel de almacenamiento durante la operación de refragmentación. Puede reducir la capacidad una vez finalizada la operación.

  • E/S: asegúrese de que su capacidad de E/S sea inferior al 50%.

  • Carga de la CPU: asegúrese de que la carga de su CPU sea inferior al 80%.

  Importante

  La base de datos no exige estos requisitos. Si no se asignan suficientes recursos, pueden producirse las siguientes consecuencias:

  • La base de datos se está quedando sin espacio y se está apagando

  • disminución del rendimiento

  • La operación de refragmentación está tardando más de lo esperado

  Si su aplicación tiene períodos de tiempo con menos tráfico, vuelva a fragmentar su colección durante ese tiempo si es posible.

• Debe reescribir las consultas de su aplicación para utilizar tanto la clave de fragmento actual como la nueva clave de fragmento.

  Tip

  Si su aplicación puede tolerar el tiempo de inactividad, puede realizar estos pasos para evitar reescribir las consultas de su aplicación para usar las claves de fragmento actuales y nuevas:

  1. Detenga su aplicación.

  2. Reescriba su aplicación para utilizar la nueva clave de fragmento.

  3. Espere a que se complete la repartición. Para supervisar el proceso de repartición, utilice la $currentOp etapa de canalización.

  4. Implementa tu aplicación reescrita.

  Antes de que se complete la reorganización de los fragmentos, las siguientes consultas devuelven un error si el filtro de consulta no incluye ni la clave de fragmento actual ni un campo único (como _id):

  • deleteOne()

  • findAndModify()

  • findOneAndDelete()

  • findOneAndReplace()

  • findOneAndUpdate()

  • replaceOne()

  • updateOne()

  Para un rendimiento óptimo, le recomendamos que también reescriba otras consultas para incluir la nueva clave de fragmento.

  Una vez que se complete la operación de refragmentación, puede eliminar la clave de fragmento anterior de las consultas.

• No hay compilaciones de índices en curso. Para comprobar si hay compilaciones de índices en ejecución, utilice $currentOp:

  db.getSiblingDB("admin").aggregate( [
     { $currentOp : { idleConnections: true } },
     { $match: {
           $or: [
               { "op": "command", "command.createIndexes": { $exists: true } },
               { "op": "none", "msg": /^Index Build/ }
           ]
        }
     }
  ] )

  En el documento de resultados, si el valor en el campo inprog es un arreglo vacío, no hay creaciones de índices en curso:

  {
     inprog: [],
     ok: 1,
     '$clusterTime': { ... },
     operationTime: <timestamp>
  }

Pasos

En una operación de refragmentación de una colección, un fragmento puede ser:

• donante, que actualmente almacena fragmentos para la colección fragmentada.

• destinatario, que almacena nuevos fragmentos para la colección fragmentada en función de las claves y zonas del fragmento.

Un fragmento puede ser donante y receptor a la vez. El conjunto de fragmentos donantes es idéntico al de los fragmentos receptores, a menos que se utilicen zonas.

El servidor de configuración principal siempre es el coordinador de re-sharding e inicia cada fase de la operación de re-sharding.

db.adminCommand({
  reshardCollection: "<database>.<collection>",
  key: <shardkey>
})

db.getSiblingDB("admin").aggregate([
  { $currentOp: { allUsers: true, localOps: false } },
  {
    $match: {
      type: "op",
      "originatingCommand.reshardCollection": "<database>.<collection>"
    }
  }
])

[
  {
    shard: '<shard>',
    type: 'op',
    desc: 'ReshardingRecipientService | ReshardingDonorService | ReshardingCoordinatorService <reshardingUUID>',
    op: 'command',
    ns: '<database>.<collection>',
    originatingCommand: {
      reshardCollection: '<database>.<collection>',
      key: <shardkey>,
      unique: <boolean>,
      collation: { locale: 'simple' }
    },
    totalOperationTimeElapsedSecs: <number>,
    remainingOperationTimeEstimatedSecs: <number>,
    ...
  },
  ...
]

Comportamiento

Caso de error