O Atlas executa automaticamente a validação de dados para detectar proativamente inconsistências de dados em todos os clusters de um projeto. A validação de dados ajuda a identificar a corrupção de dados silenciosa antes que ela cause impacto em seus aplicativos.
A corrupção silenciosa de dados ocorre quando os dados diferem entre os nós do conjunto de réplicas sem acionar erros ou avisos. Isso pode acontecer devido a falhas de hardware, problemas de rede ou outros problemas de nível de sistema. Os exemplos incluem:
Documentos ausentes: um documento existe em alguns nós, mas está ausente em outros.
Diferenças de conteúdo: um documento existe em todos os nós, mas o conteúdo difere entre eles.
Inconsistências de índice: as entradas de índice diferem entre os nós.
Sem validação, essas inconsistências podem permanecer não detectadas e causar erros de aplicativo, perda de dados ou resultados de query incorretos.
Como funciona a validação de dados
O Atlas valida dados em nós de conjunto de réplicas para detectar corrupção de dados silenciosa comparando dados em nós de conjunto de réplicas.
O processo de validação envolve as seguintes etapas:
Cria instâncias de validação temporárias no mesmo provedor de nuvem e região que o cluster.
Restaurar snapshots de nó para as instâncias de validação.
Compara dados entre snapshots de nós para detectar inconsistências.
Armazena os resultados da validação nos sistemas Atlas (AWS
us-east-1) quando são detectadas inconsistências.
A validação de dados é executada automaticamente em todos os clusters do seu projeto. Se precisar, você pode desabilitar a validação no nível do projeto.
Acesso aos dados e armazenamento
Durante a validação, o Atlas lê os dados do banco de dados e da coleção para calcular hashes e detectar inconsistências. O Atlas não modifica os dados do cluster nem armazena conteúdo de documentos descriptografados. Os dados descriptografados existem apenas temporariamente durante o processo de validação e não são persistidos.
Quando a validação detecta inconsistências, o Atlas armazena apenas os seguintes metadados:
Tipo de Dados | Período de retenção | Descrição |
|---|---|---|
Executar metadados | 3 anos | Status de execução da validação, carimbos de data/hora e resumo de inconsistências, incluindo contagens por banco de dados, coleção e tipo de inconsistência. |
Detalhes da inconsistência | 90 dias | Nome do banco de dados, nome da coleção, IDs de documentos e tipos de inconsistência para documentos que falharam na validação. |
Logs de validação | 90 dias | Saída de validação detalhada armazenada em S3. Disponível através da IU do Atlas para solução de problemas. |
Resultados detalhados | 21 dias | Resultados de com hash intermediários usados durante o processo de validação. |
O Atlas retém apenas metadados de inconsistência para análise e solução de problemas.
Validação de dados com criptografia em descanso
Para clusters com criptografia em descanso usando chaves gerenciadas pelo cliente, a validação requer acesso adicional ao seu KMS.
As instâncias de validação devem descriptografar os dados usando sua chave gerenciada pelo cliente para realizar verificações de validação. Isso resulta em solicitações adicionais da API do KMS e custos associados.
Para obter informações detalhadas sobre uso, custo, considerações de segurança e requisitos de configuração de lista de permissões de IP do KMS, consulte Uso do KMS de validação de dados.
Desativar validação de dados
Você pode desabilitar a validação de dados para todos os cluster em um projeto.
Importante
Desabilitar a validação de dados significa que o Atlas não pode detectar proativamente inconsistências de dados em seus clusters. Desabilite a validação somente se você tiver requisitos específicos que impeçam a execução da validação.
No Atlas, vá para a página Project Settings.
Se ainda não tiver sido exibido, selecione a organização que contém seu projeto no menu Organizations na barra de navegação.
Se ainda não estiver exibido, selecione o projeto desejado no menu Projects na barra de navegação.
Na barra lateral, clique no ícone ao lado de Project Overview.
A página Configurações do projeto é exibida.