对集合重新分片

关于此任务

• 一次只能对一个集合重新分片。

• writeConcernMajorityJournalDefault 必须为 true。

• 要对具有唯一性约束的集合重新分片，新分片键必须满足任何现有唯一索引的唯一索引要求。

• 在重新分片操作正在进行时，正在重新分片的集合不支持以下命令和相应的 shell 方法：

  • collMod

  • convertToCapped

  • createIndexes

  • createIndex()

  • drop

  • drop()

  • dropIndexes

  • dropIndex()

  • renameCollection

  • renameCollection()

• 如果运行以下操作之一，则该操作会等到重新分片完成后再执行：

  • addShard

  • removeShard

  • dropDatabase 在托管正在进行重新分集合的数据库上

• 如果您要重新分片的集合使用Atlas Search，则在重新分片操作完成后，搜索索引将变为不可用。重新分片操作完成后，您需要手动重建搜索索引。

开始之前

在对集合重新分片之前，请确保满足以下要求：

• 您的应用程序可以允许受影响的集合块进行两秒钟的写入。 在写入受阻期间，应用程序的延迟会增加。

  如果您的工作负载无法允许此要求，请考虑改为改进分片键。

• 您的数据库符合这些资源要求：

  • 确保每个接收分片上的可用存储空间至少是要重新分片的集合存储大小加上其总索引大小的两倍，再除以分片数：

    ( ( collection_storage_size + index_size ) * 2 ) / shard_count = storage_req

    示例，考虑一个存储大小为 2 TB 数据和 400 GB 索引的集合。要将其分发到四个分片，您需要：

    ( ( 2 TB collection + 0.4 TB index ) * 2 ) / 4 shards = 1.2 TB storage

    要对该集合重新分片，每个分片需要 1.2TB 的可用存储。

    在MongoDB Atlas上，您可能需要升级到下一个存储层级才能执行重新分片操作。操作完成后即可降级。

  • 确保 I/O容量低于50 %。

  • 确保 CPU 负载低于80 %。

  重要

  数据库不会强制执行这些要求。未能分配足够的资源可能会导致：

  • 数据库空间不足并关闭

  • 性能下降

  • 操作花费的时间比预期长

  如果应用程序存在流量较少的时间段，请尽可能在该时间段对集合执行此操作。

• 重新分片之前，无需在新分片键上创建索引。重新分片操作会在索引阶段自动构建所需的索引。

• 没有正在进行的索引构建。要检查是否正在运行索引构建，请使用 $currentOp：

  db.getSiblingDB("admin").aggregate( [
     { $currentOp : { idleConnections: true } },
     { $match: {
           $or: [
               { "op": "command", "command.createIndexes": { $exists: true } },
               { "op": "none", "msg": /^Index Build/ }
           ]
        }
     }
  ] )

  在结果文档中，如果 inprog 字段值为空数组，则表示没有正在运行的索引构建：

  {
     inprog: [],
     ok: 1,
     '$clusterTime': { ... },
     operationTime: <timestamp>
  }

步骤

在集合重新分片操作中，分片可以是：

• 发送分片，它目前存储分片集合的数据段。

• 接收分片，它根据分片键和区域存储分片集合的新数据段。

分片可以同时是发送分片和接收分片。

配置服务器主节点始终是重新分片协调器，并启动重新分片操作的每个阶段。

db.adminCommand({
  reshardCollection: "<database>.<collection>",
  key: <shardkey>
})

db.adminCommand({
  reshardCollection: "<database>.<collection>",
  key: <shardkey>,
  forceRedistribution: true
})

db.getSiblingDB("admin").aggregate([
  { $currentOp: { allUsers: true, localOps: false } },
  {
    $match: {
      type: "op",
      "originatingCommand.reshardCollection": "<database>.<collection>"
    }
  }
])

[
  {
    shard: '<shard>',
    type: 'op',
    desc: 'ReshardingRecipientService | ReshardingDonorService | ReshardingCoordinatorService <reshardingUUID>',
    op: 'command',
    ns: '<database>.<collection>',
    originatingCommand: {
      reshardCollection: '<database>.<collection>',
      key: <shardkey>,
      unique: <boolean>,
      collation: { locale: 'simple' }
    },
    totalOperationTimeElapsedSecs: <number>,
    remainingOperationTimeEstimatedSecs: <number>,
    ...
  },
  ...
]

行为

错误案例