Atlas Stream Processing 수직적 자동 확장

확장 동작

Atlas Stream Processing 프로세서의 리소스 사용량이 일정 기간 동안 다음 확장 임계값 중 하나를 초과할 때 프로세서를 다음 상위 계층 으로 확장합니다.

• CPU 사용량이 60 분 동안 90% 이상입니다.

• 메모리 사용량이 60 분 동안 80% 초과 또는 30 초 동안 90% 초과입니다.

Atlas Stream Processing도 프로세서의 메모리가 부족하면 프로세서를 확장합니다. 자동 확장이 활성화되면, 메모리 부족 상태에서는 프로세서가 실패하는 대신 프로세서를 다음 높은 계층으로 확장합니다.

확장은 프로세서 가용성을 보호하기 위해 지속적인 리소스 압박에 빠르게 대응합니다.

Atlas Stream Processing scales a processor up only when the next higher tier is less than or equal to the configured maxTier.

축소 동작

Atlas Stream Processing은 프로세서의 CPU 및 메모리 사용량이 2일 이상 확장하다 임계값 미만으로 유지될 경우 프로세서를 다음 하위 계층으로 확장합니다. 축소 임계값은 다음 하위 계층의 확장 임계값에서 프로세서가 즉시 다시 확장하는 것을 방지하는 10% 버퍼를 차감한 값입니다. 이 이틀간의 안정화 기간은 계층 간의 자주 확장을 방지하기 위해 확장 축소를 의도적으로 느리게 만듭다.

Atlas Stream Processing scales a processor down only when the next lower tier is greater than or equal to the configured minTier.

계층 및 effectiveTier

자동 확장이 활성화되면 Atlas Stream Processing 프로세서에 대한 두 가지 계층 값을 추적합니다.

• tier: 설정한 기준 계층. Atlas Stream Processing은 자동 확장을 통해 이 값을 변경하지 않습니다. 새 기준선을 설정할 때에만 변경됩니다. 이 새 기준선은 다음 프로세서를 시작할 때 적용됩니다.

• effectiveTier: 프로세서가 실제로 실행 중인 계층 보여주는 읽기 전용 값입니다. 자동 확장이 활성화되면 Atlas Stream Processing minTier 및 maxTier에서 설정하다 범위 내에서 effectiveTier를 조정합니다. 자동 확장이 비활성화되면 effectiveTier는 tier와 일치합니다.

자동 확장 기능으로 effectiveTier를 변경한 후 프로세서를 중지하면 Atlas Stream Processing 처음 시작한 tier가 아닌 마지막 effectiveTier에서 프로세서를 다시 시작합니다. 이 동작을 통해 프로세서는 자동 확장을 다시 기다리지 않고 이전 워크로드 재개할 수 있습니다.

To view a processor's autoscaling configuration and current tier, use the sp.processor.stats() method. The output includes the tier baseline, the read-only effectiveTier, and an autoscaling object with minTier and maxTier:

sp.processor.stats()
{
  ok: 1,
  name: 'sampleProc',
  state: 'STARTED',
  tier: 'SP10',
  effectiveTier: 'SP10',
  autoscaling: { minTier: 'SP2', maxTier: 'SP50' },
  stats: {
    ...
  },
  ...
}

계층 정렬

구성된 자동 확장 범위 minTier 미만 또는 maxTier 초과인 tier 값을 사용하여 프로세서를 시작하면 프로세서는 오류를 반환하고 시작되지 않습니다.

maxTier의 리소스 고갈

프로세서가 구성된 maxTier에서 리소스를 소진하는 경우 Atlas Stream Processing 다음과 같이 작동합니다.

• 메모리 고갈: 프로세서에 메모리 부족 오류가 발생합니다.

• CPU 고갈: 프로세서는 계속 실행됩니다.

프로세서가 maxTier에 도달하고 워크로드를 감당할 수 없는 경우, 파이프라인 로직을 최적화하거나 maxTier을 늘리는 것을 고려하세요.

자동 확장 이벤트 모니터링

Atlas Stream Processing은 각 확장하다 및 확장하다 이벤트를 기록합니다. 각 기록에는 프로세서와 Stream Processing 워크스페이스, 이벤트가 확장 이벤트인지 축소 이벤트인지, 프로세서가 이동한 계층과 이동하기 전의 계층, 그리고 이벤트를 트리거한 지표가 포함됩니다. 확장 이벤트를 보고 경고를 구성하는 방법을 학습하려면 Stream Processors 모니터를 참조하세요.