Configurar o Online Archive para Coleções Padrão

No Atlas, vá para a página Clusters do seu projeto.

1. Se ainda não tiver sido exibido, selecione a organização que contém seu projeto no menu Organizations na barra de navegação.

2. Se ainda não estiver exibido, selecione o projeto desejado no menu Projects na barra de navegação.

3. Na barra lateral, clique em Clusters sob o título Database.

A página Clusters é exibida.

Acesse a página Online Archive do seu cluster.

Na barra lateral, clique em Online Archive.

A página Online Archive é exibida.

Comece a configurar o arquivo online para sua coleção.

Para configurar um arquivo online para sua coleção, clique em:

• Configure Online Archive botão na primeira vez.

• Add Archive botão posteriormente.

Revise o Online Archive Overview e clique em Next para continuar.

Crie um Archiving Rule fornecendo as seguintes informações.

1. Especifique o namespace da coleção, que inclui o nome do banco de dados, o separador de ponto (.) e o nome da coleção (isto é, <database>.<collection>), no campo Namespace.

   Não é possível modificar o namespace depois que o arquivo online é criado.

2. Crie um índice no campo Date da sua coleção para garantir o desempenho ideal.

3. Selecione a região do provedor de nuvem onde você deseja armazenar seus dados arquivados.

   IMPORTANTE: recomendamos que você selecione a mesma região do seu cluster, se possível, pois o custo de transferência de dados poderá ser maior se você escolher uma região diferente.

   O Atlas mostra as regiões do provedor de nuvem correspondentes ao local onde seu cluster está hospedado. No Atlas, para clusters espalhados por várias nuvens, são exibidas as regiões do provedor de nuvem com a prioridade mais alta. O Atlas mostra um ao lado da região que corresponde à região exata ou aproximada onde seu cluster está hospedado.

   AWS

   Azure

   GCP

   Para clusters do Atlas implantados no AWS, você pode selecionar uma das seguintes regiões:

   Região Data Federation	Região Amazon Web Services	Região do Atlas
   Northern Virginia, EUA	us-east-1	US_EAST_1
   Oregon, EUA	us-west-2	US_WEST_2
   São Paulo, Brasil	sa-east-1	SA_EAST_1
   Irlanda	eu-west-1	EU_WEST_1
   Londres, Inglaterra, Reino Unido	eu-west-2	EU_WEST_2
   Frankfurt, Alemanha	eu-central-1	EU_CENTRAL_1
   Tokyo, Japan	ap-northeast-1	AP_NORTHEAST_1
   Seul, Coreia do Sul	ap-northeast-2	AP_NORTHEAST_2
   Mumbai, Índia	ap-south-1	AP_SOUTH_1
   Cingapura	ap-southeast-1	AP_SOUTHEAST_1
   Sydney, Austrália	ap-southeast-2	AP_SOUTHEAST_2
   Montreal, QC, Canadá	ca-central-1	CA_CENTRAL_1

   Para os Atlas clusters distribuídos no Azure, você pode selecionar uma região do Azure somente se não houver outros Online Archives no cluster que estejam usando um provedor de nuvem diferente. Se um Online Archive existente no cluster usar a Amazon Web Services ou Google Cloud Platform para armazenar dados arquivados, você só poderá selecionar regiões da Amazon Web Services ou do Google Cloud Platform para novos Online Archives nesse cluster.

   IMPORTANTE: para um cluster distribuído no Azure, se você tiver Arquivos Online existentes que usam Amazon Web Services ou Google Cloud Platform e excluí-los, deverá aguardar cinco dias antes de criar um novo Arquivo Online que use o Azure. Nesse período de cinco dias, qualquer tentativa de criar um novo Online Archive continuará sendo padrão para o provedor de nuvem que você selecionou originalmente.

   Para clusters do Atlas implantados no Azure, você pode selecionar uma das seguintes regiões:

   Região Data Federation	Regiãodo Azure	Região do Atlas
   Virginia, USA	eastus2	US_EAST_2
   São Paulo, Brasil	brazilsouth	BRAZIL_SOUTH
   Países Baixos	westeurope	EUROPE_WEST

   Para clusters do Atlas implementados na Google Cloud Platform, você pode selecionar uma região da Google Cloud Platform somente se não houver outros Online Archives no cluster que estejam usando um provedor de nuvem diferente. Se um Online Archive existente no cluster usar a Amazon Web Services ou o Azure para armazenar dados arquivados, você só poderá selecionar regiões da Amazon Web Services ou Azure para novos Online Archives nesse cluster.

   IMPORTANTE: para um cluster implementado na Google Cloud Platform, se você tiver Arquivos Online existentes que usam Amazon Web Services ou Azure e excluí-los, deverá aguardar cinco dias antes de criar um novo Arquivo Online que use o Google Cloud Platform. Nesse período de cinco dias, qualquer tentativa de criar um novo Online Archive continuará sendo padrão para o provedor de nuvem que você selecionou originalmente.

   Para clusters do Atlas implementados na Google Cloud Platform, você pode selecionar uma das seguintes regiões:

   Região Data Federation	Região do Google Cloud	Região do Atlas
   Iowa, USA	us-central1	IOWA_USA
   Bélgica	europe-west1	BELGIUM_EU

   IMPORTANTE: Após o Atlas criar o arquivo on-line, você não poderá modificar a região de armazenamento.

4. Especifique os critérios para selecionar documentos para arquivar na aba Date Match ou Custom Criteria.

   Correspondência de Datas

   Critérios personalizados

   Para selecionar documentos da coleção usando uma combinação de campo de data e número de dias:

   • Especifique um campo de data já indexado dos documentos na coleção. Para especificar um campo aninhado, use a notação de ponto.

   • Especifique o número de dias para manter os dados no cluster do Atlas.

   • Escolha o formato de data do campo de data especificado . A data pode ser expressa como uma data formatada em ISO8601, um timestamp no formato UNIX epoch ou um ObjectId. O carimbo de data/hora UNIX pode ser expresso em nanossegundos, milésimos de segundo ou segundos.

     Se você escolher qualquer um dos seguintes formatos, o valor do campo de data especificado deverá ser o TipoBSON long:

     • EPOCH_SECONDS

     • EPOCH_MILLIS

     • EPOCH_NANOSECONDS

     IMPORTANTE: você não pode modificar o campo de data depois que o arquivo online for criado.

   Para selecionar documentos da coleção usando um filtro personalizado, especifique um filtro JSON válido para executar. O Atlas utiliza o filtro personalizado especificado com o db.collection.find(filter) comando. Você não pode usar o argumento de documento vazio ({}) para retornar todos os documentos. Você pode usar operadores do MongoDB Atlas , como $expr , para aproveitar todos os operadores de agregação , conforme mostrado nos exemplos a seguir.

   IMPORTANTE: os exemplos a seguir pressupõem que todos os documentos incluam campos bucket_end_date com valores de data e hora. Nos exemplos seguintes, o Atlas arquiva todos os documentos que não incluem um campo bucket_end_date e todos os documentos onde o bucket_end_date não é um valor de data/hora.

   Exemplo

   Neste exemplo de filtro personalizado, quando a data atual excede a data no campo bucket_end_date nos documentos, o Atlas subtrai trinta dias (especificados em milissegundos) da data atual e, em seguida, arquiva os dados após esses muitos dias, horas e minutos.

   {
     "$expr": { "$lte": [
       "$bucket_end_date",
       { "$subtract": [ "$$NOW", 2592000000 ] }
     ] }
   }

   Neste exemplo de filtro personalizado , quando a data atual excede a data dentro de um objectId, o Atlas subtrai trinta dias (especificados em milissegundos) da data atual e, em seguida, arquiva os dados após esses muitos dias, horas e minutos.

   {
     "$expr": {
       "$lte": [
         {"$toDate": "$_id"},
         { "$subtract": [ "$$NOW", 2592000000 ] }
       ]
     }
   }

   Se você usar $expr no filtro personalizado, às vezes o Atlas cluster pode não conseguir usar um índice para arquivamento de dados.

   O exemplo de filtro personalizado a seguir apresenta uma condição complexa com mais de um campo.

   {{{
      "$and":[
         {"$expr":{"$lte":["$createdAt",{"$subtract":["$$NOW",43200000]}]}},
         {"status":{"$ne":"active"}}
         ]
   }}}

   Importante

   O Atlas executa uma consulta de suficiência de índice durante a primeira execução do arquivo para determinar a eficiência do processo de arquivamento. Se o número de documentos digitalizados para o número de documentos devolvidos for 10 ou mais, o resultado da query acionará um Index Sufficiency Warning. Esse aviso indica que você tem índices insuficientes para um processo de arquivamento eficiente. Para arquivos baseados em dados, você deve indexar o campo de data . Para critérios personalizados que usam uma expressão, o Atlas pode primeiro converter um valor antes de avaliá-lo em relação à query.

   A execução da query de suficiência de índice é interrompida após a detecção de índices suficientes. Se um índice na coleção for descartado posteriormente e atrasar o processo de arquivamento, o Atlas não emitirá um Index Sufficiency Warning.

Especifique quantos dias você deseja armazenar dados no arquivo on-line e uma janela de tempo quando deseja que o Atlas execute o tarefa de arquivamento.

1. (Opcional) Especifique um Data Retention Period.

   Por padrão, o Atlas não exclui dados arquivados. No entanto, se você especificar o Data Retention Period, você poderá especificar entre 7 a 9125 dias (25 anos) para manter os dados arquivados. O Atlas exclui os dados arquivados após o número de dias especificados aqui. Essa regra de expiração de dados entra em vigor 24 horas depois de você definir Data Retention Period.

   AVISO: Depois que o Atlas excluir os dados, você não poderá recuperar os dados.

2. (Opcional) Especifique um Schedule Archiving Window.

   Por padrão, o Atlas executa periodicamente uma query para arquivar dados. No entanto, você pode ativar o Schedule Archiving Window para programar explicitamente a janela de tempo durante a qual você deseja que o Atlas arquive dados. Você pode especificar o seguinte:

   • Frequência. Você pode optar por executar a tarefa todos os dias, em um dia específico da semana ou em uma data específica a cada mês. Se você quiser agendar a tarefa de arquivamento de dados no dia 29, 30 ou 31 de cada mês, o Atlas não executará a tarefa de arquivamento nos meses que não têm essas datas (por exemplo, fevereiro).

   • Janela de tempo, em horas. Selecione o período de tempo durante o qual você deseja que o Atlas execute o trabalho de arquivamento de dados. Você deve especificar um mínimo de duas horas. Se um trabalho em execução não é concluído durante a janela de tempo especificada, o Atlas continua executando o trabalho até que ele seja concluído.

Clique em Next para especificar os campos de query mais comuns.

Especifique os dois campos consultados com mais frequência na sua coleção para criar partições no seu arquivo on-line.

IMPORTANTE: o arquivo deve ter pelo menos um campo de partição.

/title/plot/released

/genres/title

• Escolha campos que contenham apenas caracteres suportados no AWS. Para saber mais sobre os caracteres a serem evitados, consulte Criando nomes de chaves de objeto. O Atlas ignora e não arquiva documentos que contenham caracteres não suportados.

• Escolha campos que não contêm dados polimórficos. O Atlas determina o tipo de dados de um campo de partição amostrando 10 documentos da coleção. O Atlas não arquivará um documento se o valor de campo especificado em um documento não corresponder aos valores em outros documentos na mesma coleção.

• Escolha os campos que você consulta com frequência e ordene-os do campo mais consultado na primeira posição para o campo menos consultado na última posição. Por exemplo, se você frequentemente consultar o campo de data, deixe o campo de data na primeira posição. Mas se você consulta com frequência em outro campo, esse campo deve estar na primeira posição.

IMPORTANTE: para o Online Archives criados antes de 2023 de junho, o MongoDB não recomenda string campos de tipo com alta cardinalidade como um campo de query para o Online Archives. Para campos do tipo string com alta cardinalidade, o Atlas cria um grande número de partições. Isso não se aplica aos Online Archives criados após 2023 de junho. Para saber mais, leia a publicação no blog do MongoDB.

O Atlas suporta os seguintes tipos de atributo de partição:

• date

• double

• int

• long

• objectId

• string

• boolean

Para saber mais sobre os tipos de atributo de partição suportados, consulte Tipos de Atributo de Partição.

IMPORTANTE: você pode usar o comando explain para retornar informações sobre as partições de dados usadas para atender a uma query. Para saber mais, consulte explain.

Embora as partições melhorem o desempenho da query, as queries que não contêm esses campos exigem uma digitalização completa da collection de todos os documentos arquivados, o que levará mais tempo e aumentará seus custos. Para saber mais sobre como as partições aprimoram as queries no Atlas Data Federation, veja Estrutura de dados no S3.

Clique em Next para rever e confirmar as definições do arquivo online.

Você pode revisar as seguintes configurações de regras de arquivamento:

• O nome do banco de dados e da coleção

• O nome do provedor de nuvem e a região do provedor de nuvem

• O nome do campo de data (somente para Date Match)

• O número de dias para manter os dados no Atlas cluster (somente para Date Match)

• O número de dias após os quais excluir os dados arquivados

• A frequência e a janela de tempo para arquivamento de dados

• A query personalizada a ser usada para identificar dados a serem arquivados (somente para Custom Criteria)

• Os campos de partição

Clique em Back para editar estas configurações, se necessário.

Copie e execute a query exibida em sua shell domongosh para visualizar os documentos que correspondem aos critérios na regra definida.

Você pode executar explain na query para verificar se ela utiliza um índice. Avance para a próxima etapa para criar o índice se os campos não forem indexados. Se os campos já estiverem indexados, pule para a etapa final.

(Opcional) Copie e execute a consulta exibida em seu mongosh para criar o índice exigido. Isso garante que seus dados sejam indexados para um desempenho ideal.

Verifique e confirme sua regra de arquivamento.

1. Clique em Begin Archiving na aba Confirm an online archive.

2. Clique em Confirm na janela Begin Archiving.

AVISO: depois que seu documento estiver em fila para arquivo, você não poderá mais editar o documento. Consulte Restaurar Documentos Específicos do arquivo online para mover os dados arquivados de volta para o cluster Atlas ativo.