Importante
A funcionalidade descrita nesta página não é atualmente suportada em clusters Atlas Infinite durante a visualização pública. Para os recursos suportados na visualização pública, consulte Disponibilidade da visualização pública.
O Atlas Online Archive é um recurso projetado para ajudar as organizações a otimizar seu armazenamento de dados e custos com query, arquivando dados acessados com pouca frequência do cluster MongoDB Atlas em um armazenamento de objeto na nuvem. Com o Online Archive, você obtém a capacidade de gerenciar o ciclo de vida de seus dados, manter uma experiência de query unificada em conjuntos de dados ativos e arquivados e reduzir a complexidade operacional, garantindo que os dados permaneçam acessíveis quando necessários.
Os clusters Flex não aceitam esse recurso no momento. Para saber mais, consulte Limitações do Atlas Flex.
Principais considerações sobre o uso do Online Archive
Considere os seguintes requisitos, expectativas e limitações ao usar o Atlas Online Archive.
Requisitos de cluster
O Online archive no Atlas está disponível somente em M10 e clusters maiores.
Permissões necessárias
Para criar ou excluir um Arquivo Online, você deve ter uma destas funções:
Project Cluster ManagerpapelProject Ownerpapel
expectativas de desempenho
Considere as seguintes expectativas de desempenho ao trabalhar com o Online Archive:
Trabalhos de arquivamento: o MongoDB executa trabalhos de arquivamento periodicamente para mover dados do seu cluster para o armazenamento na nuvem. Esses trabalhos operam de forma assíncrona e são projetados para minimizar o impacto no desempenho em seu cluster.
Capacidade do cluster: o arquivamento de tarefas consome recursos do cluster. Garanta que seu Atlas cluster tenha capacidade suficiente para suportar volumes de trabalho ativos e tarefas de arquivamento para evitar restrições de recursos.
Desempenho da query: Os dados arquivados residem no armazenamento de objeto na nuvem otimizado para leitura, que pode ter um desempenho de query mais lento em comparação com a query de dados em tempo real no Atlas cluster.
Importante
Por padrão, o MongoDB espera 5 minutos após concluir uma tarefa de arquivamento para iniciar outra execução.
Limitações
O Online Archive não é compatível com o seguinte:
Escrevendo para o Online Archive.
Configurar ou administrar a instância do banco de dados federado do Online Archive por meio do console do Atlas, da CLI do Atlas Data Federation ou da API do Atlas Data Federation.
Arquivando uma capped collection.
Arquivo de dados quando o volume total exceder 2 GB por ciclo de tarefa de cinco minutos.
Arquivamento de dados abaixo do tamanho de 5 MiB após 7 dias. Para saber mais, consulte Limitações.
Excluir documentos individuais, inclusive para responder a uma solicitação de exclusão de dados pessoais. Para saber mais, consulte Dados pessoais e direito ao apagamento.
Importante
O Online Archive herda todas as limitações do Atlas Data Federation . Isso inclui estágios de pipeline do MongoDB Search, como $search e $searchMeta, e o estágio de pipeline do MongoDB Vector Search $vectorSearch, que não são suportados ao consultar dados arquivados. Para obter uma lista completa de funcionalidades não suportadas, consulte Atlas Data Federation Query e Limitações de Funcionalidades.
Dados pessoais e direito ao apagamento
Se você arquivar dados pessoais, precisará planejar como responderá às solicitações do assunto dos dados, como uma solicitação para excluir dados pessoais sob o direito de apagamento no Regimento Geral de Proteção de Dados (GDPR) da UE. O Online Archive é somente leitura e não suporta a exclusão de documentos individuais do arquivo. Você pode excluir dados arquivados somente no nível de arquivo:
Exclua o arquivo on-line. Você exclui o arquivo online manualmente. cinco dias após você excluir o arquivamento online, o Atlas exclui automaticamente todos os arquivos e metadados no armazenamento de arquivos online. Após o Atlas excluir estes dados, você não poderá restaurá-los.
Especifique um período de retenção de dados para o arquivo. O Atlas exclui os dados arquivados após o número de dias especificados, de
7a9125dias. Para saber mais, consulte Configurar Online Archive.
Para apagar os dados pessoais de um indivíduo dos dados arquivados, você deve lidar com a exclusão em seu aplicação ou processo operacional. Para excluir documentos individuais de um arquivo online, execute as seguintes etapas:
Restaure os dados afetados em seu cluster.
Para saber como restaurar dados arquivados com o estágio $merge, consulte Restaurar documentos específicos do Online Archive.
Exclua os documentos do cluster.
Para saber mais, consulte Excluir documentos.
Exclua o arquivo on-line.
Para saber mais, consulte Excluir um Online Archive.
Crie um novo arquivo on-line.
Para saber mais, consulte Configurar Online Archive.
Online Archive e Atlas Data Federation
Quando você configura um Online Archive para uma collection, o Atlas utiliza o Atlas Data Federation para criar uma Instância de Banco de Dados Federado somente leitura. Isso permite queries unificadas em seu cluster ativo e nos dados arquivados, usando os mesmos nomes de coleção e banco de dados .
Você define regras de arquivamento com base em campos de tempo ou filtros personalizados. O Atlas avalia essas regras contínua e automaticamente transfere documentos correspondentes para um armazenamento de objeto na nuvem gerenciado pelo Atlas (por exemplo, Amazon Web Services S3, Azure Blob).
Região Data Federation | Região daAWS | Região do Atlas |
|---|---|---|
Northern Virginia, EUA |
|
|
Oregon, EUA |
|
|
São Paulo, Brasil |
|
|
Irlanda |
|
|
Londres, Inglaterra, Reino Unido |
|
|
Frankfurt, Alemanha |
|
|
Tokyo, Japan |
|
|
Seul, Coreia do Sul |
|
|
Mumbai, Índia |
|
|
Cingapura |
|
|
Sydney, Austrália |
|
|
Montreal, QC, Canadá |
|
|
Importante
O Atlas criptografa seus dados arquivados usando as chaves gerenciadas por S3 de criptografia do lado do servidor da Amazon (SSE-S3) para dados arquivados. O Atlas não pode usar nenhuma chave de criptografia em repouso que você tenha usado em seus dados de cluster.
Região Data Federation | Regiãodo Azure | Região do Atlas |
|---|---|---|
Virginia, USA |
|
|
São Paulo, Brasil |
|
|
Países Baixos |
|
|
Importante
O Atlas criptografa seus dados arquivados usando a criptografia do lado do serviço do Azure Storage. O Atlas não pode usar nenhuma chave de criptografia em repouso que você tenha usado nos dados do seu cluster.
Região Data Federation | Região do Google Cloud | Região do Atlas |
|---|---|---|
Iowa, USA |
|
|
Bélgica |
|
|
Importante
O Atlas criptografa seus dados arquivados usando a criptografia do lado do serviço do Google Cloud Storage. O Atlas não pode usar nenhuma chave de criptografia em repouso que você tenha usado nos dados do seu cluster.
Os dados dos arquivos do Atlas são baseados nos critérios especificados em uma regra de arquivamento. Os critérios variam com base no tipo de coleção que você deseja arquivar:
Para coleções padrão, os critérios podem ser um dos seguintes:
Uma combinação de um campo de data para arquivar dados e número de dias para manter os dados no agrupamento do Atlas. Quando a data atual exceder o valor do campo de data especificado, o Atlas subtrai o número de dias do tempo atual e então arquiva os dados após o tempo.
Uma consulta personalizada. O Atlas executa a consulta especificada na regra de arquivamento para selecionar os documentos a arquivar.
Para coleções de séries temporais, o critério é uma combinação de um campo de tempo e número de dias para manter os dados no Atlas cluster. Quando a hora atual excede o valor do campo de hora especificado, o Atlas subtrai o número de dias da hora atual e, em seguida, arquiva os dados após esses muitos dias, horas e minutos.
Quando você configura um Online Archive no seu cluster, o Atlas cria duas instâncias de banco de dados federado:
Instância de banco de dados federado para seu arquivo que permite consultar dados apenas em seu arquivo .
Instância de banco de dados federado para seu cluster e arquivo que permite consultar cluster quanto os dados arquivados.
Casos de uso
Você pode usar o Online Archive para reduzir os custos de armazenamento e gerenciar dados frios, preservando o acesso por meio de queries. Os casos de uso típicos incluem:
Large-scale historical datasets: seu cluster armazena altos volumes de dados, como registros, métricas ou registros de transações, e você precisa reduzir os custos operacionais de armazenamento sem excluir dados. O Online Archive ajuda a realocar dados frios para um armazenamento de objeto na nuvem mais barato, mantendo-os acessíveis por meio de queries.
Time series archiving: seu aplicação ingere dados de séries temporais de alta frequência de fontes como dispositivos IoT, sensores empresariais ou sistemas financeiros. O Online Archive permite que você retenha esses dados para compliance, auditoria ou análise, reduzindo o impacto no desempenho do cluster.
Cold operational data: você gerencia dados de aplicação (por exemplo, histórico de pedidos, solicitações de serviço concluídas, faturas antigas) que raramente são acessados depois de uma determinada idade, mas devem ser retidos para referência ou requisitos regulatórios.
Long-term customer records: seu sistema mantém perfis de cliente arquivados, histórico de assinatura ou registros de atividades do usuário por períodos de retenção legais ou pós-analisa, mas esses documentos não exigem mais acesso frequente.
Compliance and audit: sua organização deve reter dados para fins regulatórios ou de auditar (por exemplo, transações financeiras, registros médicas, registros de acesso). O arquivamento permite o armazenamento de longo prazo econômico sem modificar sua interface de query.
Archiving for analytics: você arquiva dados que não são necessários para as operações diárias, mas que são ocasionalmente analisados em busca de tendências, relatórios ou projeções, sem adicionar sobrecarga ao cluster primário.
O Online Archive ajuda a isolar dados frios de volumes de trabalho quentes, mantendo uma interface unificada para ambos. Isso permite eficiência operacional, redução de custos e conformidade com a retenção - tudo sem alterações nos aplicação .
Próximos passos
Para uma experiência prática, você pode criar um Online Archive para uma collection em seu cluster por meio do console do Atlas e da API. Depois de criado, você pode: