AI 에이전트의 경우: 문서 인덱스는 https://www.mongodb.com/ko-kr/docs/llms.txt에서 사용할 수 있으며, 모든 페이지의 마크다운 버전은 어떤 URL 경로에 .md를 추가하여 사용할 수 있습니다.

$throttle 애그리게이션 단계(스트림 처리)

$throttle

$throttle 단계는 스트림 프로세서가 그 뒤에 오는 단계로 데이터를 전달하는 속도를 제한합니다. $throttle을(를) 사용하여 다운스트림 시스템을 트래픽 버스트로부터 보호하고, 해당 시스템이 시행하는 요금 제한 내에 머물려야 합니다.

버스트는 스트림 프로세서가 대규모 데이터 세트의 초기 스냅샷을 생성하거나, 장애 후 복구하거나, 기존 데이터를 다시 처리할 때 발생할 수 있습니다. 제한 속도가 없으면, 이러한 버스트는 대상 시스템에 과부하를 주거나, 확장하도록 강제하거나, 삼자 업체 API 할당량을 초과할 수 있습니다.

$throttle 단계의 프로토타입 형식은 다음과 같습니다.

{ $throttle: { bytesPerSec: <integer>, messagesPerSec: <integer> }}

$throttle 단계에서는 다음 필드가 있는 문서를 사용합니다.

필드
유형
필요성
설명

bytesPerSec

integer

옵션

단계가 하위 단계로 전달하는 최대 초당 바이트 수. 양의 정수여야 합니다.

messagesPerSec

integer

옵션

해당 단계가 하위 단계로 전달하는 최대 초당 메시지 수. 각 문서는 하나의 메시지로 간주됩니다. 양의 정수여야 합니다.

bytesPerSec 또는 messagesPerSec 중 하나 이상을 지정해야 합니다. 두 개 중 어느 것도 지정하지 않은 경우, Atlas Stream Processing은 다음과 같은 오류를 반환합니다.

$throttle requires at least one of 'bytesPerSec' or 'messagesPerSec'

Atlas Stream Processing은 설정한 각 필드에 대해 별도의 속도 제한을 추적합니다. 각 제한은 구성한 속도로 지속적으로 용량이 다시 채워지며, Atlas Stream Processing은 다른 제한과 독립적으로 각 제한을 추적합니다.

메시지는 구성된 모든 제한에 이들을 위한 가용 용량이 있을 때에만 $throttle 단계를 지나서 흐를 수 있습니다. 두 필드 모두 설정하는 경우, 두 제한 모두 용량이 있어야 합니다. 한계 이상이 소진되면 단계는 가장 많이 소진된 한계가 필요로 하는 시간동안 기다립니다. 기다리는 동안 모든 제한의 용량이 회복됩니다. 그러므로 부족량이 더 작은 제한은 기다리가 끝나기 전에 회복됩니다.

스테이지는 1초도 기다리지 않고 더 많은 데이터를 전달합니다. 구성된 모든 제한에 이들을 처리할 충분한 용량이 있으면 바로 다음 메시지를 처리합니다.

단일 문서가 bytesPerSec 제한을 초과하는 경우, 스테이지는 충분한 용량이 축적될 때까지 문서를 유지하지 않습니다. 대신 단계에서 문서를 다음 단계로 전달한 다음 더 많은 데이터를 전달하기 전에 1초 동안 기다립니다.

단일 파이프라인에서 두 개 이상의 $throttle 단계를 사용할 수 있습니다. 각 단계는 해당 단계를 통과하는 데이터만 제한하므로 파이프라인의 여러 부분에 서로 다른 제한을 적용할 수 있습니다.

$throttle는 메인 파이프라인에서만 사용할 수 있습니다. 다른 단계 내에 $throttle을(를) 중척할 수 없습니다.

스로트링은 파이프라인을 통한 데이터 흐름을 늦추어 $throttle 단계보다 앞선 단계에 백프레셔를 생성합니다. 소스가 스로트 제한보다 빠르게 데이터를 생성하는 경우 프로세서가 소스보다 뒤처지고 시간이 지남에 따라 지연이 증가합니다.

무정한 지연을 피하려면, 소스의 최고 처리량만이 아니라 유지 처리량에 맞는 제한을 설정하세요. stats.changeStreamTimeDifferenceSecs 및 모니터링에 설명된 스론틀 통계를 모니터링하여 프로세서가 소스의 속도를 유지하는지 확인합니다.

Atlas Stream Processing은 $throttle을 사용하는 Stream Processing 프로세서에 대해 다음 통계를 보고합니다.

통계
설명

throttle.throttledTimeMs

프로세서가 제한을 적극적으로 수행하는 데 소요된 누적 시간(밀리초)입니다.

throttle.throttleEvents

구성된 속도 제한 내에 유지하기 위해 스테이지가 메시지를 지연시킨 횟수.

Atlas Stream Processing은 프로세서 수준과 각 단계에 대한 두 가지 통계를 모두 제공합니다. 파이프라인에 $throttle 단계가 두 개 이상 포함된 경우 프로세서 수준 값은 단계별 값의 합계입니다. 단계별 통계는 stats.operatorStats.throttle.throttledTimeMs 및 stats.operatorStats.throttle.throttleEvents입니다.

스트림 프로세서 통계에 대해 자세히 알아보려면 Atlas Stream Processing 모니터링 및 지표를 참조하세요.

다음 파이프라인은 스트림 프로세서가 Kafka 주제에 쓰기 (write) 데이터를 5 MiB 및 초당 50 개 메시지로 제한합니다:

{ $throttle: { bytesPerSec: 5242880, messagesPerSec: 50 }},{ $emit: { connectionName: "ordersTopic" }}

20 개의 문서를 포함하는 배치를 고려해 보세요. 총 2 MiB입니다. 최근 트래픽은 두 개 제한 사항 모두의 용량 일부를 사용했습니다:

Limit
용량 필요
사용 가능한 용량
부족
복구율
필수 대기

messagesPerSec

20

15

5

50/초

100 ms

bytesPerSec

2,097,152

1,048,576

1,048,576

5,242,880초당

200 ms

두 개의 제한 모두 충분한 용량이 확보될 때까지 단계는 진행될 수 없습니다. 따라서 두 개의 대기 시간 중 더 긴 시간인 200 ms 만큼 대기합니다. 이 대기 시간 동안 두 개의 제한 모두 용량을 회복하기 때문에 100 ms만 필요했던 messagesPerSec 제한은 대기가 끝나면 이미 회복됩니다.

이 페이지 평가하기