Visão geral do Atlas Data Federation

Conceitos chave

Arquitetura do Atlas Data Federation

Quando você usa o Atlas Data Federation, existem instâncias de banco de dados federadas dentro de VPCsregionais. Todo o tráfego de dados de instância do banco de dados federado, seja para Atlas clusters ou para armazenamento de objeto no provedor de nuvem, é criptografado por TLS. A criptografia TLS é a principal forma de segurança de rede disponível com o Atlas Data Federation. Se a instância do banco de dados federado e a fonte de dados (Atlas cluster, S3, Blob, Armazenamento do GCP) usarem o mesmo provedor de nuvem, o tráfego de dados atravessará a infraestrutura de rede do fornecedor de nuvem ou a Internet pública, dependendo da rede documentada do fornecedor de nuvem capacidades de serviço. Se sua instância do banco de dados federado e fonte de dados estiverem em provedores de nuvem diferentes, o tráfego de dados atravessará a Internet pública.

clique para ampliar

O Plano de Dados no diagrama anterior é onde seus dados residem. Você pode configurar o Atlas Data Federation para acessar dados em uma variedade de serviços de armazenamento. Especificamente, você pode configurar o Atlas Data Federation para acessar dados em seus buckets do Amazon Web Services S3 nas regiões do Amazon Web Services, containers do Azure Blob Storage, buckets do GCP Storage, clusters do Atlas ,URL s HTTPe HTTPS e Atlas Online Archives. Para saber mais sobre como configurar o Atlas Data Federation para acessar seus armazenamentos de dados, consulte Definir armazenamentos de dados para uma instância de banco de dados federado.

Você pode então configurar o controle de acesso baseado em função para suas instâncias do banco de dados federado. Você pode controlar como seu cliente se conecta à instância do banco de dados federado, por meio de uma opção de conexão global ou fixando-a em uma região específica. Para saber mais, consulte Configurar conexão para sua instância do banco de dados federado.

O Atlas Data Federation preserva a localidade dos dados e maximiza a computação local, sempre que possível, para minimizar a transferência de dados e otimizar o desempenho. O Plano de Computação no diagrama anterior mostra onde o Atlas Data Federation processa todas as solicitações. O Atlas Data Federation fornece um pool elástico de agentes na região mais próxima de seus dados, onde o Atlas Data Federation pode processar os dados para suas queries. Para saber mais sobre regiões suportadas, consulte Regiões do Atlas Data Federation .

O Atlas Data Federation não mantém os dados dentro do sistema e, depois que sua query é processada, ele armazena apenas os metadados em sua instância do banco de dados federado. Isso permite que você cumpra as normas de soberania de dados e garante que seus dados sejam armazenados e processados em conformidade com os requisitos legais.

O Plano de Controle no diagrama anterior, que é o mesmo que o Plano de Controle Atlas, é onde o Atlas Data Federation equilibra as solicitações do usuário e agrega os resultados finais.

O Atlas Data Federation executa determinadas partes de uma query diretamente no serviço de armazenamento subjacente em vez de transferir todos os dados para os nós de computação para processamento. Além disso, quando você executa uma query, ela é processada primeiro por um componente frontend do Data Federation, que planeja a query e, em seguida, a distribui para os nós no backend. Os nós de backend então acessam seu armazenamento de dados diretamente para executar a lógica de consulta e devolver os resultados para o frontend. Esse processo reduz a quantidade de dados movidos, tornando todo o processo mais rápido e mais barato. Para saber mais, consulte a seção Consultar uma Instância do Banco de Dados Federado.

Para otimizar o desempenho das suas queries, o Atlas Data Federation faz o seguinte:

• Para o Cloud Object Storage, ele usa o particionamento de dados para selecionar os arquivos que precisam ser processados com base nos parâmetros da query. Para saber mais, consulte Definir Caminho para Dados S3 e Utilizar Tipos de Atributo de Partição. Além disso, ele usa metadados Parquet para reduzir a quantidade de dados que verifica de arquivos parquet usando seleção de grupo de linhas ou projeção de coluna. Para saber mais, consulte Formato de Dados de Parquet.

• Para clusters do Atlas , ele tenta "empurrar para baixo" o máximo possível da query para o cluster. Por exemplo, se o pipeline de agregação tiver um estágio e ele puder ser processado localmente, o Atlas Data Federation tentará processar esse estágio no Atlas cluster e apenas retornará os documentos resultantes de volta à camada federada para processamento subsequente $match estágios. Para saber mais, consulte Consultando Dados em Seu Cluster Atlas.

Para saber mais, consulte Otimizar o Desempenho da Query.

Você pode se conectar ao Atlas Data Federation usando drivers específicos de linguagem do MongoDB , mongosh e Atlas SQL. Para saber mais, consulte Conectar à Instância do Banco de Dados Federado.

Amostras de usos

Você pode utilizar o Atlas Data Federation para:

• Copie os dados do cluster do Atlas para arquivos Parquet ou CSV CSV gravados em buckets do Amazon Web Amazon Web Services Services S ou do3 Azure Azure Blob Storage.

• Consulte vários clusters e arquivos on-line do Atlas para obter um visão holística dos dados do seu Atlas.

• Materialize dados de aggregations entre Atlas clusters, bucketsAmazon Web Services do Amazon3 Azure Web Services S e Azure Blob Storage.

• Leia e importe dados de seus blocos Amazon Web Services S3 do Azure Amazon Web Services ou Azure Blob Storage para um cluster Atlas .