Gerenciamento inteligente de carga de trabalho: mantendo seus clusters disponíveis quando importa

Os aplicativos modernos precisam se manter disponíveis mesmo quando o tráfego aumenta repentinamente ou as querys consomem recursos desproporcionais. O MongoDB Atlas foi projetado para alta disponibilidade, mas a disponibilidade na prática vai além de sobreviver a falhas de hospedar ou uma eleição de conjunto de réplicas. Também é sobre como um cluster se comporta quando a demanda excede o que ele pode processar com segurança.

Na semana passada, anunciamos o Intelligent carga de trabalho gerenciamento (IWM) como GA no MongoDB 9.0. O IWM é uma funcionalidade de disponibilidade gerenciada que mantém os clusters do Atlas responsivos e previsíveis, mesmo sob sobrecarga. O IWM enfileira picos transitórios, mantém as operações de curta duração em andamento e as operações de longa duração estáveis, além de proteger a integridade do cluster sem exigir alterações no aplicativo.

Os eventos de sobrecarga geralmente ocorrem mais rápido do que a infraestrutura pode dimensionar. Mesmo com o dimensionamento automático habilitado, o provisionamento de capacidade adicional leva tempo. No intervalo entre um pico de tráfego e a disponibilidade de nova capacidade, um cluster pode se tornar instável se cada solicitação for tratada da mesma maneira e os clientes tentarem novamente de forma agressiva. O IWM é criado para reduzir essa lacuna preservando a integridade do cluster, otimizando o desempenho e transformando o que seria uma interrupção imprevisível em um evento controlado e observável.

Para sobrecarga sustentada, os clientes podem, opcionalmente, habilitar o Load Shedding para rejeitar operações excedentes. O IWM ajuda a gerenciar a pressão enquanto um pico passa ou a capacidade é adicionada; ele não adiciona capacidade ou substitui o dimensionamento automático e o planejamento de capacidade.

Figura 1. O Gerenciamento de carga de trabalho inteligente é adaptado para manter os cluster responsivos e previsíveis.

Gerenciando a pressão da carga de trabalho enquanto a capacidade acompanha

Picos de tráfego e operações com uso intensivo de recursos podem aumentar a demanda mais rapidamente do que a infraestrutura pode dimensionar. Mesmo quando o dimensionamento automático está habilitar, o provisionamento de capacidade adicional leva tempo. Tentativas agressivas do cliente podem aumentar a pressão enquanto um cluster já está ocupado.

O IWM ajuda a gerenciar a pressão da carga de trabalho durante esse período. Funciona com ou sem dimensionamento automático: quando o dimensionamento automático está habilitado, o IWM ajuda a manter o cluster estável à medida que a capacidade fica online; sem ele, o IWM gerencia o trabalho com a capacidade de provisionamento do cluster. Para uma demanda sustentada ou crescente, ainda pode ser necessário adicionar capacidade.

Como o IWM responde à pressão da carga de trabalho

Quando um cluster está íntegro, o IWM é efetivamente invisível. Quando a demanda excede o que o cluster pode processar com segurança, o IWM gerencia a pressão em estágios:

• Ele limita o trabalho de entrada e enfileira solicitações em excesso: Por padrão, o IWM enfileira solicitações em excesso em vez de rejeitá-las proativamente. Isso pode ajudar a absorver picos transitórios, embora as solicitações enfileiradas possam levar mais tempo para serem concluídas enquanto os recursos estão limitados. O enfileiramento muda quando o trabalho é processado, não a quantidade de trabalho que o aplicativo finalmente pede ao cluster para fazer.
• Isso ajuda a manter o movimento de operações de curta duração: uma operação de curta duração, como uma leitura ou gravar típica, e uma operação de longa duração, como uma query de relatório grande, não colocam as mesmas demandas em um cluster. Quando os recursos estão restritos, o IWM mantém o movimento de operações de curta duração enquanto gerencia as operações de longa duração de forma mais conservadora.
• Ele ajuda a gerenciar a pressão sobre os recursos: fragmentação de memória, desequilíbrio de cache e exaustão de armazenamento podem desestabilizar um cluster saudável. O IWM ajusta o gerenciamento de memória e cache do cluster quando detecta padrões não saudáveis e pode pausar novas operações de gravar enquanto ainda permite leituras quando o uso do armazenamento atinge níveis críticos.

Essas proteções ajudam a preservar a integridade do cluster durante a sobrecarga. Elas não tornam a capacidade ilimitada nem substituem uma boa indexação, planejamento de capacidade ou dimensionamento automático.

Proteções padrão e descarte opcional de carga

As proteções padrão do IWM são habilitadas sem custo adicional em cluster Atlas dedicados qualificados executando o MongoDB 9.0. Elas não exigem mudanças de aplicativo ou upgrade de driver. Por padrão, o IWM gerencia a sobrecarga sem rejeitar ativamente o excesso de trabalho.

O Load Shedding é um controle opcional separado para sobrecarga sustentada. Se habilitado, pode rejeitar operações excessivas, e essas rejeições são visíveis para seu aplicativo como erros de sobrecarga. O Load Shedding está disponível sem custo adicional para clusters Atlas de conjunto de réplicas dedicados M30+ elegíveis que executam o MongoDB 9.0.

As proteções IWM padrão funcionam com qualquer driver do MongoDB. Se você habilitar o Load Shedding, use um driver com reconhecimento de contrapressão compatível para que seu aplicativo possa interpretar sinais de sobrecarga e aplicar tentativas limitadas com backoff. Verifique a matriz de drivers compatíveis antes de habilitar o Load Shedding.

Figura 2. A diferença entre o padrão (enfileiramento) e a configuração Load Shedding.

Entenda as intervenções do IWM com Observabilidade

No Atlas, revise as métricas de Limitação da Taxa de Operação e Limitação da Taxa de Conexão para operações ou conexões na fila ou rejeitadas. Quando a Eliminação de Carga é habilitada, as operações rejeitadas aparecem em Limitação da Taxa de Operação. Configure ou revise a condição de alerta do IWM para acompanhar o evento relevante do IWM e verifique o feed de atividades para eventos relacionados ao IWM. Juntas, essas superfícies do Atlas ajudam a avaliar se a pressão continua e se você deve revisar o padrão de carga de trabalho ou adicionar capacidade. Aprender mais sobre a observabilidade do IWM no Atlas.

Para equipes que avaliam o Load Shedding opcional, o Atlas também fornece um teste para validar a compatibilidade do driver, o tratamento de erros de sobrecarga pela aplicação e a visibilidade operacional antes de confiar no controle na produção. Quando testado em cluster de teste ou de DESENVOLVIMENTO ativo, o Atlas rejeita aleatoriamente uma pequena porcentagem de operações, independentemente da carga. As equipes podem acompanhar as operações rejeitadas no gráfico de métricas e revisar os resultados após o término do teste. Como os aplicativos podem encontrar erros de sobrecarga durante os testes, as equipes devem usar esses testes apenas para verificar o comportamento do cliente. As equipes não devem executar testes em um cluster de produção. Aprenda a testar o Load Shedding.

Para obter detalhes sobre o comportamento do IWM e como responder à sobrecarga, consulte a documentação do IWM.

primeiros passos

1. Confirme se seu cluster é um cluster Atlas dedicado e elegível que executa o MongoDB 9.0.

2. Decida se o dimensionamento automático deve aumentar a capacidade durante a sobrecarga sustentada. O IWM ajuda a gerenciar a pressão enquanto a capacidade adicional fica online; ele não substitui o dimensionamento automático ou o planejamento de capacidade.

3. Se você habilitar o Load Shedding, verifique a matriz de drivers suportados e confirme se seu aplicativo usa novas tentativas limitadas com backoff.

4. Revise os dashboard de observabilidade do Atlas para entender quando o IWM intervém e quais carga de trabalho são afetadas.