지능형 워크로드 관리: 중요한 순간에 클러스터 가용성 유지

최신 애플리케이션은 갑작스러운 트래픽 급증이나 쿼리가 불균형적으로 리소스를 소비할 때도 가용성을 유지해야 합니다. MongoDB Atlas는 고가용성을 위해 설계되었지만, 실제 가용성은 호스트 장애나 복제본 세트 투표를 견뎌내는 것 이상을 의미합니다. 또한 수요가 안전하게 처리할 수 있는 수준을 초과할 때 클러스터가 어떻게 동작하는지에 대한 것도 있습니다.

지난주 MongoDB 9.0에서 Intelligent 워크로드 관리(IWM)를 정식 출시했다고 발표했습니다. IWM은 과부하 상태에서도 Atlas 클러스터의 응답성과 예측 가능성을 유지하는 managed 가용성 역량입니다. IWM은 일시적인 스파이크를 대기열에 추가하고, 단기 실행 작업을 계속 진행시키면서 장기 실행 작업을 안정적으로 유지하며, 애플리케이션을 변경할 필요 없이 클러스터 상태를 보호합니다.

과부하 이벤트는 종종 인프라가 확장될 수 있는 것보다 빠르게 전개됩니다. 자동 확장이 활성화된 경우에도 추가 용량을 프로비저닝하는 데는 시간이 걸립니다. 트래픽 급증과 새로운 용량이 온라인 상태가 되는 사이의 The Gap에서 모든 요청이 동일하게 처리되고 클라이언트가 적극적으로 재시도하면 클러스터가 불안정해질 수 있습니다. IWM은 클러스터 상태를 보존하고, 성능을 최적화하고, 예상치 못한 장애가 될 수 있는 것을 통제 가능하고 관찰 가능한 이벤트로 전환하여 그 격차를 메우도록 빌드되었습니다.

과부하가 지속되는 경우, 고객은 선택 사항으로 부하 차단(Load Shedding)을 활성화해서 초과 작업을 거부할 수 있습니다. IWM은 스파이크가 지나가거나 용량이 추가되는 동안 압력을 관리하는 데 도움이 됩니다. 용량을 추가하거나 자동 확장 및 용량 계획을 대체하지 않습니다.

그림 1. 인텔리전트 워크로드(Workload) 관리는 클러스터가 반응적이고 예측 가능하도록 적응합니다.

용량이 증가하는 동안 워크로드 압력 관리

트래픽 급증 및 리소스 집약적인 작업으로 인해 인프라가 확장하다 수 있는 속도보다 더 빠르게 수요가 증가할 수 있습니다. 자동 확장이 활성화된 경우에도 추가 용량을 프로비저닝하는 데 시간이 걸립니다. 클러스터가 이미 바쁜 상태에서 공격적인 클라이언트 재시도는 부담을 가중시킬 수 있습니다.

IWM은 해당 기간 동안 워크로드 압력을 관리하는 데 도움을 줍니다. 자동 확장 기능 사용 여부와 관계없이 작동합니다. 자동 확장이 활성화된 경우, IWM은 용량이 온라인 상태가 될 때 클러스터를 안정적으로 유지하는 데 도움을 줍니다. 자동 확장을 사용하지 않는 경우, IWM은 클러스터의 프로비저닝 용량에 맞춰 작업을 관리합니다. 수요가 지속되거나 증가하는 경우에는 여전히 용량 추가가 필요할 수 있습니다.

IWM이 워크로드 압력에 대응하는 방법

클러스터가 정상 상태일 때 IWM은 사실상 눈에 띄지 않게 작동합니다. 클러스터가 안전하게 처리할 수 있는 범위를 초과하는 수요가 발생하면 IWM은 다음과 같은 단계로 압력을 관리합니다.

• 들어오는 작업을 제한하고 초과 요청을 큐에 추가합니다. 기본적으로 IWM은 초과 요청을 선제적으로 거부하지 않고 큐에 추가합니다. 이는 일시적인 급증을 흡수하는 데 도움이 될 수 있지만, 리소스가 제약된 동안에는 대기 중인 요청이 완료되는 데 더 오래 걸릴 수 있습니다. 큐잉은 애플리케이션이 궁극적으로 클러스터에 수행하도록 요청하는 작업량이 아니라 작업이 처리되는 시기를 변경합니다.
• 이 기능은 단기 실행 작업을 원활하게 유지합니다: 일반적인 읽기(read) 또는 쓰기(write) 같은 단기 실행 작업과 대규모 보고(reporting) 쿼리와 같은 장기 실행 작업은 클러스터에 동일한 요구 사항을 적용하지 않습니다. 리소스가 제한되면 IWM은 단기 실행 작업을 원활하게 진행하면서 장기 실행 작업을 더 보수적으로 관리합니다.
• 리소스 압력을 관리하는 데 도움이 됩니다. 메모리 조각화, 캐시 불균형 및 저장 고갈은 모두 상태가 좋은 클러스터를 불안정하게 만들 수 있습니다. IWM은 비정상적인 패턴을 감지하면 클러스터 메모리와 캐시 관리를 조정하고 저장 사용량이 임계 수준에 도달하면 읽기는 허용하면서 새로운 쓰기 (write)를 일시 중지할 수 있습니다.

이러한 보호 기능은 과부하 시 클러스터 상태를 유지하는 데 도움이 됩니다. 이 기능은 용량을 무제한으로 만들거나 올바른 인덱싱, 용량 계획 또는 자동 확장을 대체하지 않습니다.

기본값 보호 및 선택 사항 부하 분산(Load Shedding)

IWM의 기본값 보호 기능은 MongoDB 9.0을 실행하는 적격 전용 Atlas 클러스터에서 추가 비용 없이 활성화됩니다. 애플리케이션을 변경하거나 드라이버를 업그레이드할 필요가 없습니다. 기본적으로 IWM은 과도한 작업을 적극적으로 거부하지 않고 과부하를 관리합니다.

부하 분산(Load Shedding)은 지속적인 과부하를 위한 별도의 선택 사항입니다. 활성화된 경우 초과 작업을 거부할 수 있으며, 이러한 거부는 애플리케이션에 과부하 오류로 표시됩니다. 부하 분산은 MongoDB 9.0을 실행하는 적격 M30+ 전용 복제본 세트 Atlas 클러스터에 대해 추가 비용 없이 제공됩니다.

기본값 IWM 보호는 모든 MongoDB 드라이버와 함께 작동합니다. 부하 분산을 활성화하는 경우, 애플리케이션이 과부하 신호를 해석하고 백오프와 함께 제한된 재시도를 적용할 수 있도록 지원되는 배압 인식 드라이버(backpressure-aware driver)를 사용하세요. 부하 분산을 활성화하기 전에 지원되는 드라이버 매트릭스를 확인하세요.

그림 2. 기본값(큐잉)과 부하 분산(Load Shedding) 설정 간의 차이점.

Observability로 IWM 개입 이해

Atlas에서 큐에 대기 중인 작업 또는 연결에 대한 작업 제한 및 연결 제한 지표를 검토하세요. 부하 분산이 활성화되면 거부된 작업이 작업 제한 아래에 나타납니다. IWM 경고 조건을 구성하거나 검토하여 관련 IWM 활동을 추적하고 활동 피드에서 IWM 관련 이벤트를 확인하세요. 이러한 Atlas 표면을 함께 사용하면 압력이 계속되는지 여부와 워크로드 패턴을 검토하거나 용량을 추가해야 하는지 여부를 평가하는 데 도움이 됩니다. Atlas의 IWM 관측 가능성에 대해 자세히 알아보세요.

선택 사항 부하 차단(Load Shedding)을 평가하는 팀을 위해 Atlas는 프로덕션에서 이 컨트롤을 사용하기 전에 드라이버 호환성, 오버로드 오류에 대한 애플리케이션 처리 및 운영 가시성을 검증하기 위한 테스트도 제공합니다. 활성 테스트 또는 개발 클러스터에서 테스트할 때 Atlas는 부하와 관계없이 일부 작업의 작은 비율을 무작위로 거부합니다. 팀은 지표 차트에서 거부된 작업을 추적하고 테스트가 끝난 후 결과를 검토할 수 있습니다. 애플리케이션이 테스트 중에 과부하 오류를 경험할 수 있으므로 팀은 이러한 테스트를 사용하여 클라이언트 동작을 확인해야 합니다. 팀은 운영 클러스터에서 테스트를 실행해서는 안 됩니다. 부하 분산 테스트 방법 학습.

IWM 동작과 과부하에 대응하는 방법에 대한 자세한 내용은 IWM 설명서를 참조하세요.

시작하기

1. 클러스터가 MongoDB 9.0을 실행하는 적격 전용 Atlas 클러스터인지 확인합니다.

2. 지속적인 과부하 발생 시 자동 확장이 용량을 추가해야 하는지 여부를 결정하세요. IWM은 추가 용량이 온라인 상태가 되는 동안 압력을 관리하는 데 도움을 줍니다. 자동 확장이나 용량 계획을 대체하지는 않습니다.

3. 로드 셰딩(Load Shedding)을 활성화하는 경우, 지원되는 드라이버 매트릭스를 확인하고 애플리케이션이 백오프를 사용하여 제한된 재시도를 사용하는지 확인하십시오.

4. Atlas 관찰 가능성 대시보드를 검토하여 IWM이 언제 개입하고 어떤 워크로드가 영향을 받는지 확인하세요.