Quando você ativa o backup direto para o S3, o MongoDB Agent carrega os blocos de snapshot diretamente para o S3 usando URLs pré-assinados que o Ops Manager fornece. O Ops Manager lida apenas com os metadados para o carregamento, como gerar URLs pré-assinados, rastrear o manifesto do bloco e sinalizar a conclusão. O caminho de dados de snapshot ignora o Ops Manager e não flui mais através do servidor do Ops Manager . Isso remove o gargalo de proxy para grandes sistemas e agendamentos de backup frequentes.
Este tópico explica como habilitar o Direct to S3 Backup e como definir suas configurações opcionais.
Importante
O backup direto para S3 requer Ops Manager 9.0.0 ou posterior, ou Ops Manager 8.0.27 ou posterior e uma versão mínima do MongoDB Agent em cada host que executa o backup:
Versão do Ops Manager | Versão mínima do MongoDB Agent |
|---|---|
9.0 |
|
8.0 |
|
Como funciona o backup direto para S3
Quando o backup direto para S3 é ativado em uma tarefa de backup e o MongoDB Agent no sistema atende ao requisito de versão mínima, o Ops Manager executa as seguintes ações:
O Ops Manager gera URLs de upload pré-assinadas usando as credenciais S3 configuradas para o snapshot blockstore. As URLs ponto para o mesmo bucket S3 que o blockstore usa.
O Ops Manager define
uploadPath=AGENT_DIRECT_S3na descrição do cursor de backup . O MongoDB Agent lê esse valor, congela o caminho de upload para o tarefa e carrega blocos de snapshot diretamente para S3 usando essas URLs pré-assinadas.O Ops Manager acompanha a conclusão do upload por meio das APIs do manifesto de bloqueio. Não ocorrem chamadas de upload de proxy
/dataBlocks.
Como o MongoDB Agent carrega dados de snapshot diretamente para S3, o Ops Manager não está mais no caminho de dados para backups. O Ops Manager continua responsável apenas pelos metadados de backup.
Coexistência e contingência
Direcionamento para o backup S3 e os backups padrão que transmitem dados pelo Ops Manager podem coexistir.
Em uma tarefa em que você ativa o backup direto para S3, o Ops Manager retorna ao caminho padrão quando a versão do MongoDB Agent está abaixo do mínimo. O fallback dura até que você atualize o MongoDB Agent. As Frotas de versão mista continuam a fazer backup com sucesso:
As implementações que atendem ao requisito de versão usam o Direct to Backup S3 Backup.
As implementações que não atendem ao requisito de versão usam o caminho de dados padrão. A tarefa muda automaticamente para Direct to S3 Backup no primeiro snapshot depois de atualizar o MongoDB Agent, sem nenhuma ação adicional. Um snapshot que já está em andamento é concluído em seu caminho de upload original.
Além disso, você pode habilitar ou desabilitar manualmente o backup direto para o S3 de uma tarefa, conforme descrito abaixo.
Observação
O backup direto para o S3 se aplica somente aos dados do bloco de snapshots. Os dados de oplog para recuperação point-in-time continuam a usar o caminho de backup padrão por meio do armazenamento de oplog configurado.
Pré-requisitos
Antes de ativar o backup Direcionado para S3:
Verifique se você está executando o Ops Manager 9.0.0 ou posterior, ou o Ops Manager 8.0.27 ou posterior.
Garanta uma versão do MongoDB Agent de pelo menos
109.0.0.9279-1para sistemas do Ops Manager 9.0 ou108.0.27.9088-1para sistemas do Ops Manager 8.0 em cada host que executar o backup.Verifique se o sistema tem um armazenamento de snapshots S3 (blockstore). O Ops Manager usa o mesmo bucket S3 e credenciais que o blockstore usa.
Acesso à rede host de backup
Cada host que executa um backup deve ser capaz de:
Resolva o nome DNS do ponto de extremidade compatível com S3 ou S3
Estabeleça conexões HTTPS de saída para esse ponto de extremidade
Faça upload de dados usando as URLs pré-assinadas do S3 que o Ops Manager gera
Quando você ativa o backup direto para 3, o caminho de upload de alto volume é movido dos servidores de aplicação do Ops Manager para todos os hosts que executam um MongoDB Agent. Anteriormente, apenas os servidores do Ops Manager precisavam de acesso de rede ao S3. Verifique a conectividade de saída de um host de backup para o endpoint S3 antes de ativar o recurso.
Os MongoDB Agents não exigem chaves de acesso S3 ou roles IAM. O Ops Manager gera todas as URLs pré-assinadas usando as credenciais do S3 configuradas para o armazenamento de snapshots. Essas credenciais devem permitir operações PUT pré-assinadas no bucket, não apenas leituras.
Ativar backup direto para S3
Para ativar o backup direto para S3, complete as etapas a seguir.
Ative o sinalizador de recurso de backup direto para S3.
No console do Ops Manager Admin, clique em General e Ops Manager Config.
Clique na aba Custom.
Adicione um dos seguintes pares de chave e valor para habilitar o backup direto para o S3 em nível global ou de projeto :
Nível de acessoChaveValorProjeto
mms.featureFlag.backup.d2s3controlledGlobal
mms.featureFlag.backup.d2s3enabledClique em Save.
(Condicional) Ative o backup direto para o S3 no projeto.
Se você definiu o sinalizador controlled na etapa anterior, habilite o recurso nas configurações do projeto :
Em seu projeto do Ops Manager, clique em Settings.
Clique na aba Beta Features e clique em Backup D2s3.
(Condicional) Ative o backup direto para S3 em tarefas de backup existentes.
Em um projeto em que você ativou o Direct to S3 Backup, as novas tarefas de backup começam com o Direct to S3 Backup já ativado. O primeiro snapshot de cada novo tarefa é carregado diretamente no S3, e nenhuma ação por trabalho é necessária.
As tarefas de backup existentes antes de você ativar o recurso mantêm a configuração existente. Você também pode ativar ou desativar o backup direto no S3 em qualquer tarefa. Para alterar a configuração de um tarefa:
Clique em Admin, Backup e depois em Jobs.
Para a tarefa de destino , localize a linha Direct S3 Backup . A linha aparece somente quando o armazenamento de snapshots do trabalho é um blockstore S3 .
Configure Direct S3 Backup para Enabled ou Disabled.
Para clusters fragmentados, selecione Apply to all cluster members para habilitar o recurso em cada shard e no servidor de configuração.
Clique em Save.
Verifique a versão do agente em cada host.
Verifique a versão de cada MongoDB Agent que executa o backup e certifique-se de que ele atenda à versão mínima para o sistema do Ops Manager.
A tabela a seguir resume quando uma tarefa de backup usa o backup direto para o S3:
Cenário | Caminho de upload |
|---|---|
Tarefa criada depois que você ativou o recurso no projeto | Direcionar para o backup do S3, começando com o primeiro snapshot |
Tarefa criada antes de você ativar o recurso no projeto | Caminho padrão até você ativar o backup Direcionado para S3 no tarefa |
Tarefa com backup direto para S3 ativado e um MongoDB Agent abaixo da versão mínima | Caminho padrão até você atualizar o MongoDB Agent. A tarefa muda para Direct to S3 Backup no primeiro snapshot após a atualização. |
Gerenciar configurações opcionais
As configurações opcionais a seguir ajustam o desempenho de carregamento do Backup direto para S3.
mms.backup.d2s3.transfer.numWorkersNúmero de trabalhadores de upload paralelos que o MongoDB Agent usa para uploads de backup direto para o S3. Padrão:
2. Você também pode definir uma substituição por tarefa.Configure esta configuração no arquivo de configuração do Ops Manager juntamente com as outras propriedades do
mms.backup.*. Se você definir essa propriedade, o MongoDB Agent usará esse número exato de trabalhadores e pulará seu próprio ajuste automático. Se você não definir, o MongoDB Agent dimensionará a contagem de trabalhadores com base na CPU e na memória do host.mms.backup.d2s3.transfer.maxNumUnitOfWorkBlocksNúmero máximo de blocos por unidade de trabalho para o caminho de upload Direct to S3. Quando não é definido, o MongoDB Agent volta para um padrão interno de
100.Configure esta configuração utilizando um dos seguintes:
Aplique as definições de configuração globais do Ops Manager na interface do Ops Manager.
Aplique a configuração específica do trabalho usando a caixa de diálogo WTCheckpoint Config na página Jobs.
Observação
O número de conexões simultâneas com o S3 aumenta com o número de tarefas de backup executadas ao mesmo tempo. Se seu sistema executar muitas tarefas de backup simultaneamente, o número total de conexões S3 pode ser alto.
Considerações operacionais
Desempenho e dimensionamento
Carga do Ops Manager: Os servidores de aplicação do Ops Manager não carregam mais cargas úteis de bloco de snapshot, mas ainda lidam com a pré-assinatura, a validação de manifesto, o estado do tarefa e as gravações de metadados. Tamanho do Ops Manager para volumes de trabalho do plano de controle.
Dimensionamento do host do agente: o backup direto para o S3 move compressão, hash, TLS e carregamentos S3 paralelos dos servidores do Ops Manager para cada host que executa um MongoDB Agent. Antes de ativar o recurso, verifique se esses hosts têm CPU, memória e capacidade de rede de saída suficientes para o volume de trabalho adicional. Capture a duração de um snapshot da linha de base e o uso de recursos para comparar o impacto depois de ativar o Direct to S3.
Quando
mms.backup.d2s3.transfer.numWorkersnão está definido, o MongoDB Agent dimensiona automaticamente o número de trabalhadores de backup com base na CPU e na memória que o host pode usar. Começa com aproximadamente um trabalhador por 4 vCPUs desse limite, até um máximo de 16 trabalhadores. Cada trabalhador pode usar cerca de um núcleo de CPU no pico, portanto, planeje manter pelo menos 25% da capacidade de CPU permitida do host para backup.Durante os snapshots, monitore o uso da CPU do MongoDB Agent e a latência do banco de dados . Se o MongoDB Agent estiver vinculado à CPU ou a latência do banco de dados aumentar, considere adicionar capacidade ou reduzir
numWorkers.
Caminho de rede: a taxa de transferência total do backup é o agregado de cada caminho do MongoDB Agent-to-S3. Confirme se seu endpoint S3, endpointVPC ou proxy pode lidar com a simultaneidade esperada em todos os hosts fazendo backup simultaneamente.
Segurança e IAM
Permissões do Ops Manager: as credenciais do S3 configuradas para o armazenamento de snapshots devem permitir operações
PUTpré-assinadas no bucket e prefixos usados para snapshots.Permissões do MongoDB Agent : os MongoDB Agents não têm credenciais S3. O Ops Manager gera URLs pré-assinados para cada upload e verificação de bloco.
Imutabilidade: o backup direto para o S3 é compatível com o bloqueio de objetos do S3. As IDs de versão do objeto exigidas pelos snapshots imutáveis são registradas no manifesto do bloco.
Saiba mais
Para saber mais sobre o recurso complementar que baixa dados de snapshots diretamente da restauração S3 durante as restaurações, consulte Direções da restauração S3.
Para saber como os backups funcionam no Ops Manager, consulte Processo de backup.
Para saber mais sobre os recursos de backup necessários, consulte Gerenciar armazenamento de snapshots compatível com S3.