컬렉션 리샤딩

요구 사항:

컬렉션을 리샤딩하기 전에 다음 요구 사항을 충족하는지 확인하세요.

• 애플리케이션은 리샤딩되는 컬렉션이 쓰기를 차단하는 2초의 기간을 허용할 수 있습니다. 쓰기가 차단되는 기간 동안 애플리케이션의 대기 시간이 증가합니다. 워크로드가 이러한 요구 사항을 수용할 수 없는 경우에는 대신 샤드 키를 개선하는 것이 좋습니다.

• 데이터베이스는 다음과 같은 리소스 요구 사항을 충족합니다.

  • 사용 가능한 저장 공간: 클러스터에 리샤딩에 사용할 수 있는 디스크 공간이 충분한지 확인합니다. 리샤딩된 컬렉션의 문서가 클러스터 전체에 균등하게 분산된 경우 각 샤드는 디스크의 컬렉션 크기를 샤드 수로 나눈 값의 약 1.2배에 해당하는 디스크 공간이 필요합니다.

    참고

    리샤딩에는 새 샤드 키에 따라 샤드에 분산된 데이터로 새 컬렉션이 생성되므로 추가 디스크 공간이 필요합니다. 자세한 내용은 리샤딩 프로세스 를 참조하세요.

  • I/O: I/O 용량이 50% 미만인지 확인합니다.

  • CPU 부하: CPU 부하가 80% 미만인지 확인합니다.

  중요

  이러한 요구 사항은 데이터베이스에 의해 적용되지 않습니다. 충분한 리소스를 할당하지 못하면 다음과 같은 결과가 발생할 수 있습니다.

  • 데이터베이스 공간이 부족하여 종료되는 경우

  • 성능 저하

  • 리샤딩 작업이 예상보다 오래 걸리는 경우

  애플리케이션에 트래픽이 적은 기간이 있는 경우 가능하면 해당 기간 동안 컬렉션을 리샤딩하세요.

• 다음 작업 중 하나를 수행해야 합니다.

  • 현재 샤드 키와 새 샤드 키를 모두 사용하도록 애플리케이션의 쿼리를 다시 작성합니다

  • 애플리케이션을 중지한 후 다음을 수행합니다.

    • 새 샤드 키를 사용하도록 애플리케이션의 쿼리를 다시 작성합니다.

    • 컬렉션의 리샤딩이 완료될 때까지 기다립니다( 리샤딩 프로세스 를 모니터링하려면 $currentOp 파이프라인 단계 사용).

    • 재작성된 애플리케이션 배포

  다음 쿼리는 쿼리 필터에 현재 샤드 키 또는 고유 필드(예: _id)가 모두 포함되어 있지 않은 경우 오류를 반환합니다.

  • deleteOne()

  • findAndModify()

  • findOneAndDelete()

  • findOneAndReplace()

  • findOneAndUpdate()

  • replaceOne()

  • updateOne()

  최적의 성능을 위해 새 샤드 키를 포함하도록 다른 쿼리도 다시 작성하는 것이 좋습니다.

  리샤딩 작업이 완료되면 쿼리에서 이전 샤드 키를 제거할 수 있습니다.

• 현재 진행 중인 인덱스 빌드가 없습니다. db.currentOp()을(를) 사용하여 실행 중인 인덱스 빌드를 확인합니다.

   db.adminCommand(
      {
        currentOp: true,
        $or: [
          { op: "command", "command.createIndexes": { $exists: true }  },
          { op: "none", "msg" : /^Index Build/ }
        ]
      }
  )

  결과 문서에서 inprog 필드 값이 빈 배열이면 진행 중인 인덱스 빌드는 없습니다.

  {
     inprog: [],
     ok: 1,
     '$clusterTime': { ... },
     operationTime: <timestamp>
  }

제한 사항

• 한 번에 하나의 컬렉션만 리샤딩할 수 있습니다.

• writeConcernMajorityJournalDefault은(는) true이어야 합니다.

• 고유성 제약 조건이 있는 컬렉션을 리샤드하려면 새 샤드 키가 기존의 모든 고유 인덱스에 대한 고유 인덱스 요구 사항을 충족해야 합니다.

• 리샤딩 작업이 진행 중인 동안 리샤딩되는 컬렉션에서는 다음 명령 및 해당 셸 메서드가 지원되지 않습니다.

  • collMod

  • convertToCapped

  • createIndexes

  • createIndex()

  • drop

  • drop()

  • dropIndexes

  • dropIndex()

  • renameCollection

  • renameCollection()

• 다음 명령과 메서드는 리샤딩 작업이 진행되는 동안 클러스터에서 지원되지 않습니다.

  • addShard

  • removeShard

  • db.createCollection()

  • dropDatabase

  경고

  리샤딩 작업 중에 위의 명령 중 하나를 사용하면 리샤딩 작업이 실패합니다.

• 리샤딩할 컬렉션이 Atlas Search 를 사용하는 경우 리샤딩 작업이 완료되면 검색 인덱스를 사용할 수 없게 됩니다. 리샤딩 작업이 완료되면 검색 인덱스를 수동으로 다시 작성해야 합니다.

리샤딩 프로세스

컬렉션 리샤딩 작업에서 샤드는 다음과 같을 수 있습니다.

• 기증자는 현재 샤딩된 컬렉션의 청크를 저장합니다.

• 수신자는 샤드 키와 구역을 기반으로 샤드 컬렉션의 새 청크를 저장합니다.

샤드는 기증자와 수신자가 동시에 될 수 있습니다. 구역을 사용하지 않는 한 기증자 샤드 세트는 수신자 샤드와 동일합니다.

config 서버 프라이머리는 항상 리샤딩 코디네이터이며 리샤딩 작업의 각 단계를 시작합니다.

db.adminCommand({
  reshardCollection: "<database>.<collection>",
  key: <shardkey>
})

db.getSiblingDB("admin").aggregate([
  { $currentOp: { allUsers: true, localOps: false } },
  {
    $match: {
      type: "op",
      "originatingCommand.reshardCollection": "<database>.<collection>"
    }
  }
])

[
  {
    shard: '<shard>',
    type: 'op',
    desc: 'ReshardingRecipientService | ReshardingDonorService | ReshardingCoordinatorService <reshardingUUID>',
    op: 'command',
    ns: '<database>.<collection>',
    originatingCommand: {
      reshardCollection: '<database>.<collection>',
      key: <shardkey>,
      unique: <boolean>,
      collation: { locale: 'simple' }
    },
    totalOperationTimeElapsedSecs: <number>,
    remainingOperationTimeEstimatedSecs: <number>,
    ...
  },
  ...
]

{
  ok: 1,
  '$clusterTime': {
    clusterTime: <timestamp>,
    signature: {
      hash: Binary(Buffer.from("0000000000000000000000000000000000000000", "hex"), 0),
      keyId: <number>
    }
  },
  operationTime: <timestamp>
}

sh.status()

databases
[
  {
     database: {
     _id: '<database>',
     primary: '<shard>',
     partitioned: true,
     version: {
       uuid: <uuid>,
       timestamp: <timestamp>,
       lastMod: <number>
     }
   },
   collections: {
     '<database>.<collection>': {
       shardKey: <shardkey>,
       unique: <boolean>,
       balancing: <boolean>,
       chunks: [],
       tags: []
     }
   }
  }
  ...
]

db.adminCommand({
  commitReshardCollection: "<database>.<collection>"
})

db.adminCommand({
  abortReshardCollection: "<database>.<collection>"
})

행동

오류 사례

db.runCommand({
  cleanupReshardCollection: "<database>.<collection>"
})