Importante
Recurso Indisponível em Flex Clusters
Neste momento, os clusters flexíveis não permitem essa funcionalidade. Para saber mais, consulte Limitações do Atlas Flex.
O Atlas Online Archive é um recurso projetado para ajudar as organizações a otimizar seu armazenamento de dados e custos com query, arquivando dados acessados com pouca frequência do cluster MongoDB Atlas em um armazenamento de objeto na nuvem. Com o Online Archive, você obtém a capacidade de gerenciar o ciclo de vida de seus dados, manter uma experiência de query unificada em conjuntos de dados ativos e arquivados e reduzir a complexidade operacional, garantindo que os dados permaneçam acessíveis quando necessários.
Principais considerações sobre o uso do Online Archive
Considere os seguintes requisitos, expectativas e limitações ao usar o Atlas Online Archive.
Requisitos de cluster
O Arquivo Online no Atlas está disponível somente em M10 e clusters maiores.
Permissões necessárias
Para criar ou excluir um Arquivo Online, você deve ter uma destas funções:
Project Cluster ManagerpapelProject Ownerpapel
expectativas de desempenho
Considere as seguintes expectativas de desempenho ao trabalhar com o Online Archive:
Trabalhos de arquivamento: o MongoDB executa trabalhos de arquivamento periodicamente para mover dados do seu cluster para o armazenamento na nuvem. Esses trabalhos operam de forma assíncrona e são projetados para minimizar o impacto no desempenho em seu cluster.
Capacidade do cluster: o arquivamento de tarefas consome recursos do cluster. Garanta que seu Atlas cluster tenha capacidade suficiente para suportar volumes de trabalho ativos e tarefas de arquivamento para evitar restrições de recursos.
Desempenho da query: Os dados arquivados residem no armazenamento de objeto na nuvem otimizado para leitura, que pode ter um desempenho de query mais lento em comparação com a query de dados em tempo real no Atlas cluster.
Limitações
O Online Archive não é compatível com o seguinte:
Escrevendo para o Online Archive.
Configurar ou administrar a instância do banco de dados federado do Online Archive por meio do console do Atlas, da CLI do Atlas Data Federation ou da API do Atlas Data Federation.
Arquivando uma capped collection.
Arquivamento de dados abaixo do tamanho de 5 MiB após 7 dias. Para saber mais, consulte Limitações.
Excluindo documentos individuais.
Importante
O Online Archive herda todas as limitações do Atlas Data Federation . Isso inclui estágios de pipeline do MongoDB Search, como $search e,$searchMeta e o estágio de pipeline do MongoDB Vector $vectorSearch Search, que não são compatíveis com a query de dados arquivados. Para obter uma lista completa de funcionalidades não permitidas, consulte Limitações de Data Federation .
Online Archive e Atlas Data Federation
Quando você configura um Online Archive para uma collection, o Atlas utiliza o Atlas Data Federation para criar uma Instância de Banco de Dados Federado somente leitura. Isso permite queries unificadas em seu cluster ativo e nos dados arquivados, usando os mesmos nomes de coleção e banco de dados .
Você define regras de arquivamento com base em campos de tempo ou filtros personalizados. O Atlas avalia essas regras contínua e automaticamente transfere documentos correspondentes para um armazenamento de objeto na nuvem gerenciado pelo Atlas (por exemplo, Amazon Web Services S3, Azure Blob).
Região Data Federation | Região Amazon Web Services | Região do Atlas |
|---|---|---|
Northern Virginia, EUA |
|
|
Oregon, EUA |
|
|
São Paulo, Brasil |
|
|
Irlanda |
|
|
Londres, Inglaterra, Reino Unido |
|
|
Frankfurt, Alemanha |
|
|
Tokyo, Japan |
|
|
Seul, Coreia do Sul |
|
|
Mumbai, Índia |
|
|
Cingapura |
|
|
Sydney, Austrália |
|
|
Montreal, QC, Canadá |
|
|
Importante
O Atlas criptografa seus dados arquivados usando criptografia no lado do servidor da Amazon com chaves gerenciadas S3 (SSE-S3) para dados arquivados. O Atlas não pode usar nenhuma chave de criptografia em repouso que você tenha usado nos dados do seu cluster.
Região Data Federation | Região do Azure | Região do Atlas |
|---|---|---|
Virginia, USA |
|
|
São Paulo, Brasil |
|
|
Países Baixos |
|
|
Importante
O Atlas criptografa seus dados arquivados usando a criptografia do lado do serviço do Azure Storage. O Atlas não pode usar nenhuma chave de criptografia em repouso que você tenha usado nos dados do seu cluster.
Região Data Federation | Região do Google Cloud | Região do Atlas |
|---|---|---|
Iowa, USA |
|
|
Bélgica |
|
|
Importante
O Atlas criptografa seus dados arquivados usando a criptografia do lado do serviço do Google Cloud Storage. O Atlas não pode usar nenhuma chave de criptografia em repouso que você tenha usado nos dados do seu cluster.
Os dados dos arquivos do Atlas são baseados nos critérios especificados em uma regra de arquivamento. Os critérios variam com base no tipo de coleção que você deseja arquivar:
Para coleções padrão, os critérios podem ser um dos seguintes:
Uma combinação de um campo de data para arquivar dados e número de dias para manter os dados no agrupamento do Atlas. Quando a data atual exceder o valor do campo de data especificado, o Atlas subtrai o número de dias do tempo atual e então arquiva os dados após o tempo.
Uma consulta personalizada. O Atlas executa a consulta especificada na regra de arquivamento para selecionar os documentos a arquivar.
Para coleções de séries temporais, o critério é uma combinação de um campo de tempo e o número de dias para manter os dados no cluster do Atlas. Quando a hora atual excede o valor do campo de hora especificado, o Atlas subtrai o número de dias da hora atual e arquiva os dados após esses muitos dias, horas e minutos.
Quando você configura um Online Archive no seu cluster, o Atlas cria duas instâncias de banco de dados federado:
Instância de banco de dados federado para seu arquivo que permite consultar dados apenas em seu arquivo .
Instância de banco de dados federado para seu cluster e arquivo que permite consultar cluster quanto os dados arquivados.
Casos de uso
Você pode usar o Online Archive para reduzir os custos de armazenamento e gerenciar dados frios, preservando o acesso por meio de queries. Os casos de uso típicos incluem:
Large-scale historical datasets: seu cluster armazena altos volumes de dados, como registros, métricas ou registros de transações, e você precisa reduzir os custos operacionais de armazenamento sem excluir dados. O Online Archive ajuda a realocar dados frios para um armazenamento de objeto na nuvem mais barato, mantendo-os acessíveis por meio de queries.
Time series archiving: seu aplicação ingere dados de séries temporais de alta frequência de fontes como dispositivos IoT, sensores empresariais ou sistemas financeiros. O Online Archive permite que você retenha esses dados para compliance, auditoria ou análise, reduzindo o impacto no desempenho do cluster.
Cold operational data: você gerencia dados de aplicação (por exemplo, histórico de pedidos, solicitações de serviço concluídas, faturas antigas) que raramente são acessados depois de uma determinada idade, mas devem ser retidos para referência ou requisitos regulatórios.
Long-term customer records: seu sistema mantém perfis de cliente arquivados, histórico de assinatura ou registros de atividades do usuário por períodos de retenção legais ou pós-analisa, mas esses documentos não exigem mais acesso frequente.
Compliance and audit: sua organização deve reter dados para fins regulatórios ou de auditar (por exemplo, transações financeiras, registros médicas, registros de acesso). O arquivamento permite o armazenamento de longo prazo econômico sem modificar sua interface de query.
Archiving for analytics: você arquiva dados que não são necessários para as operações diárias, mas que são ocasionalmente analisados em busca de tendências, relatórios ou projeções, sem adicionar sobrecarga ao cluster primário.
O Online Archive ajuda a isolar dados frios de volumes de trabalho quentes, mantendo uma interface unificada para ambos. Isso permite eficiência operacional, redução de custos e conformidade com a retenção - tudo sem alterações nos aplicação .
Próximos passos
Para uma experiência prática, você pode criar um Online Archive para uma collection em seu cluster por meio do console do Atlas e da API. Depois de criado, você pode: