Um armazenamento de dados de instância do banco de dados federado conecta o Atlas a uma fonte de armazenamento na nuvem para que você possa executar queries federadas em seus dados. Você pode implementar um armazenamento de dados em endpoints AWS S3, Azure Blob Storage, Google Cloud Storage, HTTP ou HTTPS, ou um Atlas cluster.
Para implantar um Data Store de instância do banco de dados federado, selecione seu armazenamento de dados no menu suspenso:
Esta página descreve como implantar uma instância do banco de dados federado para acessar dados em AWS S3.
Acesso necessário
Para implantar uma instância do banco de dados federado, você deve ter acesso de Project Owner ao projeto.
Importante
Os usuários com Organization Owner acesso devem se adicionar como Project Owner ao projeto antes de implantar sua instância do banco de dados federado.
Pré-requisitos
Antes de implantar sua instância do banco de dados federado no seu bucket AWS S3, você precisa concluir as seguintes etapas:
Crie uma conta MongoDB Atlas , se você ainda não tiver uma.
Configure a CLI do Amazon Web Services para acessar sua conta do Amazon Web Services. Como alternativa, você deve ter acesso ao Console de gerenciamento do Amazon Web Services com permissão para criar funções do IAM.
Procedimento
Para criar um novo reconhecimento de data center Data Federation utilizando o Atlas CLI, execute o seguinte comando:
atlas dataFederation create <name> [options]
Para saber mais sobre a sintaxe e os parâmetros do comando, consulte a documentação do Atlas CLI para criar o Atlas dataFederation.
Esta página descreve como implantar uma instância do banco de dados federado para acessar dados em AWS S3.
Acesso necessário
Para implantar uma instância do banco de dados federado, você deve ter acesso de Project Owner ao projeto.
Importante
Os usuários com Organization Owner acesso devem se adicionar como Project Owner ao projeto antes de implantar sua instância do banco de dados federado.
Pré-requisitos
Antes de implantar sua instância do banco de dados federado no seu bucket AWS S3, você precisa concluir as seguintes etapas:
Crie uma conta MongoDB Atlas , se você ainda não tiver uma.
Configure a CLI do Amazon Web Services para acessar sua conta do Amazon Web Services. Como alternativa, você deve ter acesso ao Console de gerenciamento do Amazon Web Services com permissão para criar funções do IAM.
Procedimento
Selecione seu provedor de nuvem de instância do banco de dados federado
Selecione AWS como seu provedor de nuvem
Digite seu nome de instância do banco de dados federado
Clique em Continuar
IMPORTANTE: o nome da instância do banco de dados federado é padronizado como FederatedDatabaseInstance[n]. Depois que sua instância do banco de dados federado for criada, você não poderá renomeá-la.
Especifique seu armazenamento de dados AWS S3 e configure bancos de dados federados e coleções virtuais que mapeiam para seu armazenamento de dados.
Selecione o conjunto de dados para sua instância do banco de dados federado na seção Data Sources .
Clique em Add Data Sources para selecionar seu armazenamento de dados.
Especifique seu armazenamento de dados.
Escolha Amazon S3 para configurar uma instância do banco de dados federado para dados em buckets AWS S3.
Corresponde à configuração
stores.[n].providerJSON.Selecione um papel AWS IAM para Atlas.
Você pode selecionar uma função existente do Amazon Web Services IAM para a qual o Atlas esteja autorizado na lista suspensa de seleção de funções ou escolher Authorize an AWS IAM Role para autorizar uma nova função.
Se você selecionou uma função existente para a qual o Atlas está autorizado, prossiga para a próxima etapa para listar seus buckets do Amazon Web3 Services S3.
Se você estiver autorizando o Atlas para um papel existente ou estiver criando um novo papel, complete as seguintes etapas antes de prosseguir para a próxima etapa:
Selecione Authorize an AWS IAM Role para autorizar uma nova função ou selecione uma função existente no menu suspenso e clique em Next.
Use o AWS ARN e o ID externo exclusivo na seção Add Atlas to the trust relationships of your AWS IAM role para adicionar o Atlas às relações de confiança de uma função existente ou nova do AWS IAM.
Na UI do Atlas, clique em e expanda uma das seguintes opções:
O Create New Role with the AWS CLI mostra como usar o ARN e o ID externo exclusivo para adicionar o Atlas às relações de confiança de uma nova função do AWS IAM. Siga as etapas na IU do Atlas para criar uma nova função. Para saber mais, consulte Criar nova função com a AWS CLI.
Ao autorizar uma nova função, se você sair do fluxo de trabalho do
Configure a New Data Lake:Após validar a função, o Atlas não criará a instância do banco de dados federado. No entanto, o papel está disponível no menu suspenso de seleção de papel e pode ser utilizado para criar uma instância do banco de dados federado. Você não precisa autorizar a role novamente.
O Add Trust Relationships to an Existing Role mostra como usar o ARN e o ID externo exclusivo para adicionar o Atlas ao relacionamento de confiança de uma função existente do Amazon Web Services IAM. Siga as etapas na IU do Atlas para adicionar o Atlas ao relacionamento de confiança para uma função existente. Para saber mais, consulte Adicionar relacionamentos de confiança a uma função existente.
IMPORTANTE: se você modificar o ARN personalizado da função da AWS no futuro, verifique se a política de acesso da função inclui o acesso apropriado aos recursos do S3 para a instância do banco de dados federado.
- Para mais informações, veja
Clique em Next.
Insira as informações do bucket S3 .
Insira o nome do seu contêiner S3 .
Corresponde à configuração
stores.[n].bucketJSON.Especifique se o bucket é Read-only ou ambos Read and write.
O Atlas só pode executar query de buckets Read-only; se desejar consultar e salvar os resultados da consulta no contêiner S3, escolha Read and write. Para salvar os resultados da query no bucket S3, a política de role que concede ao Atlas acesso aos recursos da AWS deve incluir as permissões
s3:PutObjectes3:DeleteObject, além des3:ListBucket,s3:GetObject,s3:GetObjectVersion, e permissõess3:GetBucketLocation, que concedem acesso de leitura. Consulte a etapa 4 abaixo para saber mais sobre como atribuir a política de acesso à sua função da AWS IAM.Selecione a região do bucket S3.
Corresponde à configuração
stores.[n].regionJSON.IMPORTANTE: não é possível criar uma instância do banco de dados federado se o Atlas Data Federation não conseguir recuperar a região do bucket S3 especificado.
Opcional. Especifique um prefixo que o Data Federation deve usar ao pesquisar os arquivos no bucket S3. Se omitido, o Data Federation faz uma pesquisa recursiva para todos os arquivos a partir da raiz do bucket S3.
Corresponde à configuração
stores.[n].prefixJSON.Clique em Next.
Atribua uma política de acesso ao seu role AWS IAM.
Siga as etapas na interface de usuário do Atlas para atribuir uma política de acesso ao seu perfil do AWS IAM.
Sua política de função para acesso somente leitura ou leitura e escrita deve ser semelhante ao seguinte:
{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "s3:ListBucket", "s3:GetObject", "s3:GetObjectVersion", "s3:GetBucketLocation" ], "Resource": [ <role arn> ] } ] } { "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "s3:ListBucket", "s3:GetObject", "s3:GetObjectVersion", "s3:GetBucketLocation", "s3:PutObject", "s3:DeleteObject" ], "Resource": [ <role arn> ] } ] } Clique em Next.
Defina a estrutura do caminho para seus arquivos no bucket S3 e clique em Next.
Por exemplo:
s3://<bucket-name>/<path>/<to>/<files>/<filename>.<file-extension> Para adicionar outros caminhos para dados em seu bucket S3, clique em Add Data Source e insira o caminho. Para saber mais sobre caminhos, consulte Definir sintaxe de caminho para armazenamentos de dados.
Corresponde à configuração
databases.[n].collections.[n].dataSources.[n].pathJSON.Crie os bancos de dados, collections e visualizações virtuais e mapeie os bancos de dados, collections e visualizações para seu armazenamento de dados.
(Opcional) Clique em para o:
Banco de dados para editar o nome do banco de dados. Padrão é
VirtualDatabase[n].Corresponde à configuração JSON do
databases.[n].name.Coleção para editar o nome da coleção. O padrão é
VirtualCollection[n].Corresponde à configuração JSON do
databases.[n].collections.[n].name.Visualizar para editar o nome da visualização.
Você pode clicar em:
Add Database para adicionar bancos de dados e coleções.
associado ao banco de dados para adicionar coleções ao banco de dados.
associado à collection para adicionar visualizações na collection. Para criar uma visualização, você deve especificar:
O nome da visualização.
O pipeline a ser aplicado à visualização.
O pipeline de definição de visualização não pode incluir o estágio
$outou$merge. Se a definição de visualização incluir estágios de pipeline aninhados, como$lookupou$facet, essa restrição também se aplicará a esses pipelines aninhados.
Para saber mais sobre visualizações, consulte:
associado ao banco de dados, coleção ou visualização para removê-la.
Selecione AWS S3 no menu suspenso da seção Data Sources .
Arraste e solte o armazenamento de dados para mapear com a collection.
Corresponde à configuração JSON do
databases.[n].collections.[n].dataSources.
Sua configuração para o armazenamento de dados do AWS S3 deve ser semelhante ao seguinte:
{ "stores" : [ { "name" : "<string>", "provider": "<string>", "region" : "<string>", "bucket" : "<string>", "additionalStorageClasses" : ["<string>"], "prefix" : "<string>", "includeTags": <boolean>, "delimiter": "<string>", "public": <boolean> } ], "databases" : [ { "name" : "<string>", "collections" : [ { "name" : "<string>", "dataSources" : [ { "storeName" : "<string>", "path" : "<string>", "defaultFormat" : "<string>", "provenanceFieldName": "<string>", "omitAttributes": true | false } ] } ], "maxWildcardCollections" : <integer>, "views" : [ { "name" : "<string>", "source" : "<string>", "pipeline" : "<string>" } ] } ] }
Para obter mais informações sobre as definições de configuração, consulte Configurar armazenar de dados para uma instância do banco de dados federado.
Defina seu armazenamento de dados do Amazon Web Services S3.
Edite as definições de configuração JSON mostradas na interface do usuário para
stores. Sua configuração de configuraçãostoresdeve ser semelhante ao seguinte:"stores" : [ { "name" : "<string>", "provider" : "<string>", "region" : "<string>", "bucket" : "<string>", "additionalStorageClasses" : ["<string>"], "prefix" : "<string>", "delimiter" : "<string>", "includeTags": <boolean>, "public": <boolean> } ] Para saber mais sobre essas definições de configuração, consulte
stores.Defina seus bancos de dados virtuais, collections e visualizações de instância do banco de dados federado .
Edite as definições de configuração JSON mostradas na interface do usuário para
databases. Sua configuração de configuraçãodatabasesdeve ser semelhante ao seguinte:"databases" : [ { "name" : "<string>", "collections" : [ { "name" : "<string>", "dataSources" : [ { "storeName" : "<string>", "defaultFormat" : "<string>", "path" : "<string>", "provenanceFieldName": "<string>", "omitAttributes": <boolean> } ] } ], "maxWildcardCollections" : <integer>, "views" : [ { "name" : "<string>", "source" : "<string>", "pipeline" : "<string>" } ] } ] Para saber mais sobre essas definições de configuração, consulte
databases.
Opcional: repita as etapas 1 a 6 para definir armazenamentos de dados adicionais do AWS S3.
Esta página descreve como implantar uma instância do banco de dados federado para acessar dados em seus contêineres do Azure Blob Storage.
Pré-requisitos
Antes de começar, cumpra os seguintes pré-requisitos:
Crie uma conta MongoDB Atlas , se você ainda não tiver uma.
Instale o Azure PowerShell ou Azure CLI. Para saber mais sobre essas FERRAMENTAS, consulte Escolher a ferramenta de linha de comando correta do Azure.
Configure Azure PowerShell ou Azure CLI.
Procedimento
Para criar um novo reconhecimento de data center Data Federation utilizando o Atlas CLI, execute o seguinte comando:
atlas dataFederation create <name> [options]
Para saber mais sobre a sintaxe e os parâmetros do comando, consulte a documentação do Atlas CLI para criar o Atlas dataFederation.
Esta página descreve como implantar uma instância do banco de dados federado para acessar dados em seus contêineres do Azure Blob Storage.
Pré-requisitos
Antes de começar, cumpra os seguintes pré-requisitos:
Crie uma conta MongoDB Atlas , se você ainda não tiver uma.
Instale o Azure PowerShell ou Azure CLI. Para saber mais sobre essas FERRAMENTAS, consulte Escolher a ferramenta de linha de comando correta do Azure.
Configure Azure PowerShell ou Azure CLI.
Procedimento
Selecione o provedor de nuvem onde o Atlas Data Federation processará suas queries em relação à sua instância do banco de dados federado.
Você pode selecionar AWS, Azure ou Google Cloud. Após sua instância do banco de dados federado ser criada, você não poderá alterar o provedor de nuvem onde o Atlas Data Federation processa suas queries.
Se estiver configurando uma instância do banco de dados federado para dados em um contêiner do Azure Blob Storage, não será possível escolher um provedor de nuvem diferente do provedor de nuvem que está hospedando seus dados. Ou seja, você deve escolher o Azure.
Especifique seu armazenamento de dados do Azure Blob Storage e configure a instância do banco de dados federado e as coleções virtuais que mapeiam para seu armazenamento de dados.
Selecione o conjunto de dados para sua instância do banco de dados federado na seção Data Sources .
Clique em Add Data Sources para selecionar seu armazenamento de dados.
Especifique seu armazenamento de dados.
Escolha Azure para configurar uma instância do banco de dados federado para dados em contêineres do Azure Blob Storage.
Corresponde à configuração
stores.[n].providerJSON.Selecione um Azure Service Principal para o Atlas.
Você pode selecionar um Service Principal existente para o qual o Atlas está autorizado a partir da lista suspensa Service Principal ou escolher Authorize an Azure Service Principal para autorizar um novo Service Principal.
Se você selecionou um principal de serviço existente para o qual o Atlas está autorizado, prossiga para a próxima etapa.
Se você estiver autorizando o Atlas para um principal de serviço existente ou estiver criando um novo principal de serviço, conclua as seguintes etapas antes de prosseguir para a próxima etapa:
Selecione Authorize an Azure Service Principal para autorizar um principal de serviço novo ou existente e clique em Continue.
Use o Azure Service Principal AppId na seção Add Atlas to your Azure Service Principal para conceder acesso ao Atlas por meio de um Azure Service Principal existente ou novo.
Siga as etapas na guia PowerShell ou AzureCLI na IU do Atlas para criar um novo principal de serviço ou modificar um principal de serviço existente.
Insira o ID do inquilino e o ID do service principal nos respectivos campos depois de concluir as etapas na IU do Atlas.
Clique em Validate and Finish para prosseguir para a próxima etapa.
Configure o acesso ao seu Azure Blob Storage.
Na página Configure Azure Blob Storage, você deve configurar a delegação de credencial da Conta de Armazenamento Azure e o acesso ao Contêiner de Armazenamento. Para fazer estes:
Insira a ID do recurso da sua conta de armazenamento no campo Storage Account Credential Delegation .
Para saber mais, veja Obter a ID do recurso para uma conta de armazenamento.
Copie e execute o comando da etapa Storage Account Credential Delegation em seu Azure PowerShell para configurar a delegação de credenciais.
Especifique se o contêiner de armazenamento permite operações Read only ou Read and write .
O Atlas só pode executar query de Read-only containers; se você deseja consultar e salvar os resultados da consulta no contêiner do Azure Blob Storage, escolha Read and write.
O Atlas Data Federation não oferece suporte a gravações em seu contêiner do Azure Blob Storage usando $out.
Insira o nome do Contêiner de armazenamento.
Copie e execute o comando mostrado na etapa Storage Container Access em seu Azure PowerShell para configurar o acesso ao contêiner blob.
Clique em Continue.
Defina a estrutura de caminho para seus arquivos no contêiner do Azure Blob Storage e clique em Next.
Insira o caminho de armazenamento para seu contêiner do Azure Blob Storage.
Por exemplo:
https://<storage-account>.blob.core.windows.net/<container>/<file-name> Para adicionar caminhos adicionais para dados em seu contêiner do Azure Blob Storage, clique em Add Data Source e insira o caminho. Para saber mais sobre caminhos, consulte Definir sintaxe de caminho para armazenamentos de dados.
Corresponde à configuração
databases.[n].collections.[n].dataSources.[n].pathJSON.Opcional. Especifique os campos de partição que o Data Federation deve usar ao pesquisar os arquivos no contêiner do Azure Blob Storage e o tipo de valor do campo .
Se omitido, o Data Federation faz uma pesquisa recursiva para todos os arquivos a partir da raiz do contêiner Armazenamento de Blob do Azure. Se você não selecionar um tipo de valor de campo específico, o Data Federation adicionará qualquer valor nesse caminho em todas as queries.
Corresponde às definições de configuração JSON
stores.[n].prefixedatabases.[n].collections.[n].dataSources.[n].path.
Crie os bancos de dados, collections e visualizações virtuais e mapeie os bancos de dados, collections e visualizações para seu armazenamento de dados.
(Opcional) Clique em para o:
Banco de dados para editar o nome do banco de dados. Padrão é
VirtualDatabase[n].Corresponde à configuração JSON do
databases.[n].name.Coleção para editar o nome da coleção. O padrão é
VirtualCollection[n].Corresponde à configuração JSON do
databases.[n].collections.[n].name.Visualizar para editar o nome da visualização.
Você pode clicar em:
Add Database para adicionar bancos de dados e coleções.
associado ao banco de dados para adicionar coleções ao banco de dados.
associado à collection para adicionar visualizações na collection. Para criar uma visualização, você deve especificar:
O nome da visualização.
O pipeline a ser aplicado à visualização.
O pipeline de definição de visualização não pode incluir o estágio
$outou$merge. Se a definição de visualização incluir estágios de pipeline aninhados, como$lookupou$facet, essa restrição também se aplicará a esses pipelines aninhados.
Para saber mais sobre visualizações, consulte:
associado ao banco de dados, coleção ou visualização para removê-la.
Selecione Azure Blob Storage no menu suspenso da seção Data Sources .
Arraste e solte o armazenamento de dados para mapear com a collection.
Corresponde à configuração JSON do
databases.[n].collections.[n].dataSources.
Sua configuração para o armazenamento de dados do Azure Blob Storage deve ser semelhante a esta:
{ "stores" : [ { "name" : "<string>", "provider": "<string>", "region" : "<string>", "serviceURL" : "<string>", "containerName" : "<string>", "delimiter" : "<string>", "prefix": "<string>", "public": <boolean> } ], "databases" : [ { "name" : "<string>", "collections" : [ { "name" : "<string>", "dataSources" : [ { "storeName" : "<string>", "path" : "<string>", "defaultFormat" : "<string>", "provenanceFieldName": "<string>", "omitAttributes": <boolean> } ] } ], "maxWildcardCollections" : <integer>, "views" : [ { "name" : "<string>", "source" : "<string>", "pipeline" : "<string>" } ] } ] }
Para obter mais informações sobre as definições de configuração, consulte Configurar armazenar de dados para uma instância do banco de dados federado.
Defina seu armazenamento de dados do Armazenamento de Blobs do Azure.
Edite as definições de configuração JSON mostradas na interface do usuário para
stores. Sua configuração de configuraçãostoresdeve ser semelhante ao seguinte:"stores" : [ { "name" : "<string>", "provider" : "<string>", "region" : "<string>", "serviceURL" : "<string>", "containerName" : "<string>", "delimiter": "<string", "prefix" : "<string>", "public": <boolean> } ] Para saber mais sobre essas definições de configuração, consulte
stores.Defina seus bancos de dados virtuais, collections e visualizações de instância do banco de dados federado .
Edite as definições de configuração JSON mostradas na interface do usuário para
databases. Sua configuração de configuraçãodatabasesdeve ser semelhante ao seguinte:"databases" : [ { "name" : "<string>", "collections" : [ { "name" : "<string>", "dataSources" : [ { "storeName" : "<string>", "defaultFormat" : "<string>", "path" : "<string>", "provenanceFieldName": "<string>", "omitAttributes": <boolean> } ] } ], "maxWildcardCollections" : <integer>, "views" : [ { "name" : "<string>", "source" : "<string>", "pipeline" : "<string>" } ] } ] Para saber mais sobre essas definições de configuração, consulte
databases.
Opcional: repita as etapas na aba Editor Visual ou Editor JSON acima para definir armazenamentos de dados adicionais do Azure Blob Storage.
Para adicionar outros armazenamentos de dados para consultas federadas, consulte:
Observação
Você não pode criar um armazenamento de dados AWS para executar queries federadas em diferentes provedores de nuvem.
Esta página descreve como implantar uma instância do banco de dados federado para acessar dados em seus buckets de armazenamento do Google Google Cloud Platform Cloud Platform.
Acesso necessário
Para implantar uma instância do banco de dados federado, você deve ter acesso de Project Owner ao projeto.
Importante
Os usuários com Organization Owner acesso devem se adicionar como Project Owner ao projeto antes de implantar sua instância do banco de dados federado.
Pré-requisitos
Antes de começar, você precisará:
Crie uma conta MongoDB Atlas , se você ainda não tiver uma.
Configure a CLI do gcloud para acessar sua conta do Google Cloud Platform. Como alternativa, você deve ter acesso ao console do Google Cloud Platform com permissão para criar funções de IAM.
Procedimento
Para criar um novo reconhecimento de data center Data Federation utilizando o Atlas CLI, execute o seguinte comando:
atlas dataFederation create <name> [options]
Para saber mais sobre a sintaxe e os parâmetros do comando, consulte a documentação do Atlas CLI para criar o Atlas dataFederation.
Esta página descreve como implantar uma instância do banco de dados federado para acessar dados em seus buckets de armazenamento do Google Google Cloud Platform Cloud Platform.
Acesso necessário
Para implantar uma instância do banco de dados federado, você deve ter acesso de Project Owner ao projeto.
Importante
Os usuários com Organization Owner acesso devem se adicionar como Project Owner ao projeto antes de implantar sua instância do banco de dados federado.
Pré-requisitos
Antes de começar, você precisará:
Crie uma conta MongoDB Atlas , se você ainda não tiver uma.
Configure a CLI do gcloud para acessar sua conta do Google Cloud Platform. Como alternativa, você deve ter acesso ao console do Google Cloud Platform com permissão para criar funções de IAM.
Procedimento
Selecione o provedor de nuvem onde o Atlas Data Federation processará suas queries em relação à sua instância do banco de dados federado.
Você pode selecionar AWS, Azure ou Google Cloud. Após sua instância do banco de dados federado ser criada, você não poderá alterar o provedor de nuvem onde o Atlas Data Federation processa suas queries.
Você deve configurar sua instância do banco de dados federado no mesmo provedor de nuvem que os armazenamentos de dados para os quais sua instância do banco de dados federado mapeia.
Especifique seu Google Cloud Platform bucket de armazenamento da Google Cloud Platform e configure bancos de dados federados e coleções virtuais que mapeiam para seu armazenamento de dados.
Selecione o conjunto de dados para sua instância do banco de dados federado na seção Data Sources .
Clique em Add Data Sources para selecionar seu armazenamento de dados.
Especifique seu armazenamento de dados.
Escolha Google Cloud Storage para configurar uma instância do banco de dados federado para dados em Google Cloud Platform buckets de armazenamento do Google Cloud Platform.
Corresponde à configuração JSON do
stores.[n].provider.Selecione uma conta do Google Cloud Platform Service para o Atlas.Google Cloud Platform
Você pode selecionar uma Google Cloud Platform conta de serviço da Google Cloud Platform existente para a qual o Atlas está autorizado na lista suspensa de seleção de função ou Create a Google Service Account escolher.
Se você selecionou uma conta existente para a qual o Atlas está autorizado, clique em Next e prossiga para a próxima etapa para listar seus Google Cloud Platform buckets de armazenamento da Google Cloud Platform.
Se você estiver criando uma nova conta de serviço, selecione Create a Google Service Account e clique em Next.
No Configure Google Cloud Storage modal, siga as instruções fornecidas para configurar a CLI do Google Cloud Google Cloud Platform CLI NextPlatform e clique em.
Configure o Google Cloud Platform armazenamento do Google Cloud Platform.
Insira o nome do Google Cloud Platform bucket de armazenamento do Google Cloud Platform.
Corresponde à configuração
stores.[n].bucketJSON.Especifique se o bucket é Read-only ou ambos Read and write.
O Atlas só pode executar query Read-only de buckets; se quiser consultar e salvar os resultados da consulta em seu Google Cloud Platform Read and writecontêiner Armazenamento do Google Cloud Platform, escolha.
Selecione a região do Google Cloud Platform bucket de armazenamento do Google Cloud Platform.
Corresponde à configuração
stores.[n].regionJSON.Observação
Não é possível criar uma instância do banco de dados federado se o Atlas Data Federation não conseguir recuperar a região do GCP bucket de armazenamento do GCP especificado.
Conceda acesso ao seu Google Cloud Platform projeto do Google Cloud Platform.
No Google Cloud Platform console da Google Cloud Platform do projeto que hospeda seu Google Cloud Platform bucket de armazenamento da Google Cloud Platform, navegue até IAM and Admin e, em seguida, navegue IAM até.
Clique em Grant Access. No modal exibido, no New principals campo, insira a Google Cloud Platform conta de serviço da Google Cloud Platform associada à sua instância do banco de dados federado.
Para conceder acesso de somente leitura ao bucket, aplique a função
storage.viewer. Para conceder acesso de leitura e gravação ao bucket, aplique adicionalmente a funçãostorage.editor.
Opcional. Especifique um prefixo que a Data Federation deve usar ao pesquisar os arquivos no bucket de armazenamento da Google Google Cloud Platform Cloud Platform. Se omitido, o Data Federation faz uma pesquisa recursiva para todos os arquivos a partir da raiz do bucket de armazenamento do Google Google Cloud Platform Cloud Platform.
Corresponde à configuração
stores.[n].prefixJSON.Clique em Validate and finish.
Defina a estrutura de caminho para seus arquivos no Google Cloud Platform bucket de armazenamento da Google Cloud Platform e clique Next em.
Por exemplo:
https://storage.googleapis.com/<path>/<to>/<files>/<filename>.<file-extension> Para adicionar caminhos adicionais para dados no seu bucket do Google Cloud Storage, clique em Add Data Source e insira o caminho. Para aprender mais sobre caminhos, consulte Definir sintaxe de caminho para armazenar dados.
Corresponde à configuração
databases.[n].collections.[n].dataSources.[n].pathJSON.Crie os bancos de dados, collections e visualizações virtuais e mapeie os bancos de dados, collections e visualizações para seu armazenamento de dados.
(Opcional) Clique em para o:
Banco de dados para editar o nome do banco de dados. Padrão é
VirtualDatabase[n].Corresponde à configuração JSON do
databases.[n].name.Coleção para editar o nome da coleção. O padrão é
VirtualCollection[n].Corresponde à configuração JSON do
databases.[n].collections.[n].name.Visualizar para editar o nome da visualização.
Você pode clicar em:
Add Database para adicionar bancos de dados e coleções.
associado ao banco de dados para adicionar coleções ao banco de dados.
associado à collection para adicionar visualizações na collection. Para criar uma visualização, você deve especificar:
O nome da visualização.
O pipeline a ser aplicado à visualização.
O pipeline de definição de visualização não pode incluir o estágio
$outou$merge. Se a definição de visualização incluir estágios de pipeline aninhados, como$lookupou$facet, essa restrição também se aplicará a esses pipelines aninhados.
Para saber mais sobre visualizações, consulte:
associado ao banco de dados, coleção ou visualização para removê-la.
Selecione Google Cloud Storage no menu suspenso da seção Data Sources .
Arraste e solte o armazenamento de dados para mapear com a collection.
Corresponde à configuração JSON do
databases.[n].collections.[n].dataSources.
Sua configuração do Google Cloud Platform armazenamento de dados do Google Cloud Platform Storage deve ser semelhante a esta:
{ "stores" : [ { "name" : "<string>", "provider" : "<string>", "region" : "<string>", "bucket" : "<string>", "prefix": "<string>", "delimiter": "<string>" } ], "databases" : [ { "name" : "<string>", "collections" : [ { "name" : "<string>", "dataSources" : [ { "storeName" : "<string>", "path" : "<string>", "defaultFormat" : "<string>", "provenanceFieldName": "<string>", "omitAttributes": <boolean> } ] } ], "maxWildcardCollections" : <integer>, "views" : [ { "name" : "<string>", "source" : "<string>", "pipeline" : "<string>" } ] } ] }
Para obter mais informações sobre as definições de configuração, consulte Configurar armazenar de dados para uma instância do banco de dados federado.
Defina seu armazenamento de dados do Amazon Web Services S3.
Edite as definições de configuração JSON mostradas na interface do usuário para
stores. Sua configuraçãostoresdeve ser semelhante à seguinte:"stores" : [ { "name" : "<string>", "provider" : "<string>", "region" : "<string>", "bucket" : "<string>", "additionalStorageClasses" : ["<string>"], "prefix" : "<string>", "delimiter" : "<string>", "includeTags": <boolean>, "public": <boolean> } ] Para saber mais sobre essas definições de configuração, consulte
stores.Defina seus bancos de dados virtuais, collections e visualizações de instância do banco de dados federado .
Edite as definições de configuração JSON mostradas na interface do usuário para
databases. Sua configuraçãodatabasesdeve ser semelhante à seguinte:"databases" : [ { "name" : "<string>", "collections" : [ { "name" : "<string>", "dataSources" : [ { "storeName" : "<string>", "defaultFormat" : "<string>", "path" : "<string>", "provenanceFieldName": "<string>", "omitAttributes": <boolean> } ] } ], "maxWildcardCollections" : <integer>, "views" : [ { "name" : "<string>", "source" : "<string>", "pipeline" : "<string>" } ] } ] Para saber mais sobre essas definições de configuração, consulte
databases.
Opcional: repita as etapas na aba Editor Visual ou Editor JSON acima para definir armazenamentos de dados adicionais do Azure Azure Blob Storage.
Para adicionar outros armazenamentos de dados para consultas federadas, consulte:
Observação
Você não pode conectar um armazenamento de dados do Azure Blob Storage para executar consultas federadas em fornecedores de nuvem.
Esta página descreve como implantar uma instância do banco de dados federado para acessar dados em um armazenamento de dados HTTP .
Acesso necessário
Para implantar uma instância do banco de dados federado, você deve ter acesso de Project Owner ao projeto.
Importante
Os usuários com Organization Owner acesso devem se adicionar como Project Owner ao projeto antes de implantar sua instância do banco de dados federado.
Pré-requisitos
Antes de começar, você precisará:
Crie uma conta MongoDB Atlas , se você ainda não tiver uma.
Formate seu armazenamento de dados usando um dos formatos de dados suportados.
Observação
Se o formato do arquivo for
CSVouTSV, você deverá incluir uma linha de cabeçalho nos dados. Consulte CSV e TSV para obter mais informações.Torne seu armazenamento de dados acessível pela Internet pública.
Importante
Se o seu repositório de dados HTTP não estiver acessível por HTTPS, você deve usar o JSON Editor para configurar seu repositório de dados. Na sua configuração JSON, você deve definir a configuração
stores.[n].allowInsecurecomotrue.O Atlas Data Federation não suporta URL s de armazenamento de dados HTTP que exijam autenticação.
Procedimento
Para criar um novo reconhecimento de data center Data Federation utilizando o Atlas CLI, execute o seguinte comando:
atlas dataFederation create <name> [options]
Para saber mais sobre a sintaxe e os parâmetros do comando, consulte a documentação do Atlas CLI para criar o Atlas dataFederation.
Esta página descreve como implantar uma instância do banco de dados federado para acessar dados em um armazenamento de dados HTTP .
Acesso necessário
Para implantar uma instância do banco de dados federado, você deve ter acesso de Project Owner ao projeto.
Importante
Os usuários com Organization Owner acesso devem se adicionar como Project Owner ao projeto antes de implantar sua instância do banco de dados federado.
Pré-requisitos
Antes de começar, você precisará:
Crie uma conta MongoDB Atlas , se você ainda não tiver uma.
Formate seu armazenamento de dados usando um dos formatos de dados suportados.
Observação
Se o formato do arquivo for
CSVouTSV, você deverá incluir uma linha de cabeçalho nos dados. Consulte CSV e TSV para obter mais informações.Torne seu armazenamento de dados acessível pela Internet pública.
Importante
Se o seu repositório de dados HTTP não estiver acessível por HTTPS, você deve usar o JSON Editor para configurar seu repositório de dados. Na sua configuração JSON, você deve definir a configuração
stores.[n].allowInsecurecomotrue.O Atlas Data Federation não suporta URL s de armazenamento de dados HTTP que exijam autenticação.
Procedimento
Selecione o provedor de nuvem onde o Atlas Data Federation processará suas queries em relação à sua instância do banco de dados federado.
Você pode selecionar AWS, Azure ou Google Cloud. Após sua instância do banco de dados federado ser criada, você não poderá alterar o provedor de nuvem onde o Atlas Data Federation processa suas queries.
Especifique seu armazenamento de dados.
Selecione o conjunto de dados para sua instância do banco de dados federado na seção Data Sources .
Clique em Add Data Sources para selecionar seu armazenamento de dados.
Especifique seu armazenamento de dados.
Escolha HTTP(S) para configurar uma instância do banco de dados federado para dados em URL s HTTP e HTTPS acessíveis publicamente.
Corresponde à configuração
stores.[n].providerJSON.Insira um nome para seu armazenamento de dados HTTP no campoHTTP(S) Store Name.
Observação
O nome do armazenamento de dados deve ser exclusivo dentro da instância do banco de dados federado.
Corresponde à configuração
stores.[n].nameJSON.Insira a URL acessível publicamente do arquivo onde os dados são armazenados.
O Atlas Data Federation oferece suporte aos tipos de arquivo JSON, BSON, CSV, TSV, Avro (gzipado ou descompactado), Parquet e ORC.
Dica
Clique em Use Sample URL para adicionar um armazenamento de dados HTTP de exemplo.
Para cada armazenamento de dados HTTP adicional que você deseja adicionar, clique em Add Another URL e insira as URLs do armazenamento de dados HTTP.
Corresponde à configuração
stores.[n].urlsJSON.Clique em Next para configurar bancos de dados virtuais e collections.
Crie os bancos de dados, collections e visualizações virtuais e mapeie os bancos de dados, collections e visualizações para seu armazenamento de dados.
(Opcional) Clique em para o:
Banco de dados para editar o nome do banco de dados. Padrão é
VirtualDatabase[n].Corresponde à configuração JSON do
databases.[n].name.Coleção para editar o nome da coleção. O padrão é
VirtualCollection[n].Corresponde à configuração JSON do
databases.[n].collections.[n].name.Visualizar para editar o nome da visualização.
Você pode clicar em:
Add Database para adicionar bancos de dados e coleções.
associado ao banco de dados para adicionar coleções ao banco de dados.
associado à collection para adicionar visualizações na collection. Para criar uma visualização, você deve especificar:
O nome da visualização.
O pipeline a ser aplicado à visualização.
O pipeline de definição de visualização não pode incluir o estágio
$outou$merge. Se a definição de visualização incluir estágios de pipeline aninhados, como$lookupou$facet, essa restrição também se aplicará a esses pipelines aninhados.
Para saber mais sobre visualizações, consulte:
associado ao banco de dados, coleção ou visualização para removê-la.
Selecione HTTP no menu suspenso da seção Data Sources .
Arraste e solte o armazenamento de dados para mapear com a collection.
Corresponde à configuração JSON do
databases.[n].collections.[n].dataSources.
Sua configuração para um armazenamento de dados HTTP deve ser semelhante a esta:
1 { 2 "stores" : [ 3 { 4 "name" : "<string>", 5 "provider": "<string>", 6 "defaultFormat" : "<string>", 7 "allowInsecure": <boolean>, 8 "urls": ["<string>"] 9 } 10 ], 11 "databases" : [ 12 { 13 "name" : "<string>", 14 "collections" : [ 15 { 16 "name" : "<string>", 17 "dataSources" : [ 18 { 19 "storeName" : "<string>", 20 "allowInsecure" : <boolean>, 21 "urls" : ["<string>"], 22 "defaultFormat" : "<string>", 23 "provenanceFieldName": "<string>" 24 } 25 ] 26 } 27 ], 28 "views" : [ 29 { 30 "name" : "<string>", 31 "source" : "<string>", 32 "pipeline" : "<string>" 33 } 34 ] 35 } 36 ] 37 }
Para obter mais informações sobre as definições de configuração, consulte URL HTTP .
Defina seu armazenamento de dados HTTP.
Edite as definições de configuração JSON mostradas na interface do usuário para
stores. Sua configuração de configuraçãostoresdeve ser semelhante ao seguinte:"stores" : [ { "name" : "<string>", "provider" : "<string>", "allowInsecure": <boolean>, "urls" : ["<string>"], "defaultFormat" : "<string>" } ] Para saber mais sobre essas definições de configuração, consulte
stores.Defina seus bancos de dados virtuais, collections e visualizações de instância do banco de dados federado .
Edite as definições de configuração JSON mostradas na interface do usuário para
databases. Sua configuração de configuraçãodatabasesdeve ser semelhante ao seguinte:"databases" : [ { "name" : "<string>", "collections" : [ { "name" : "<string>", "dataSources" : [ { "storeName" : "<string>", "allowInsecure" : <boolean>, "urls" : ["<string>"], "defaultFormat" : "<string>", "provenanceFieldName": "<string>" } ] } ] } ] Para saber mais sobre essas definições de configuração, consulte
databases.
Esta página descreve como implantar uma instância do banco de dados federado para acessar dados em um cluster Atlas.
Acesso necessário
Para implantar uma instância do banco de dados federado, você deve ter acesso de Project Owner ao projeto.
Importante
Os usuários com Organization Owner acesso devem se adicionar como Project Owner ao projeto antes de implantar sua instância do banco de dados federado.
Pré-requisitos
Antes de começar, você precisará:
Crie uma conta MongoDB Atlas , se você ainda não tiver uma.
Crie um cluster do Atlas, se ainda não tiver um. O Atlas Data Federation é compatível com Atlas clusters distribuídos no AWS, Azure ou Google Cloud.
Observação
Para usar seu Atlas cluster como um armazenamento de dados, você deve implementá-lo no mesmo projeto que sua instância do banco de dados federado.
Adicione dados a pelo menos uma collection no seu cluster do Atlas, caso ainda não tenha feito isso.
Procedimento
Para criar um novo reconhecimento de data center Data Federation utilizando o Atlas CLI, execute o seguinte comando:
atlas dataFederation create <name> [options]
Para saber mais sobre a sintaxe e os parâmetros do comando, consulte a documentação do Atlas CLI para criar o Atlas dataFederation.
Esta página descreve como implantar uma instância do banco de dados federado para acessar dados em um cluster Atlas.
Acesso necessário
Para implantar uma instância do banco de dados federado, você deve ter acesso de Project Owner ao projeto.
Importante
Os usuários com Organization Owner acesso devem se adicionar como Project Owner ao projeto antes de implantar sua instância do banco de dados federado.
Pré-requisitos
Antes de começar, você precisará:
Crie uma conta MongoDB Atlas , se você ainda não tiver uma.
Crie um cluster do Atlas, se ainda não tiver um. O Atlas Data Federation é compatível com Atlas clusters distribuídos no AWS, Azure ou Google Cloud.
Observação
Para usar seu Atlas cluster como um armazenamento de dados, você deve implementá-lo no mesmo projeto que sua instância do banco de dados federado.
Adicione dados a pelo menos uma collection no seu cluster do Atlas, caso ainda não tenha feito isso.
Procedimento
Selecione o provedor de nuvem onde o Atlas Data Federation processará suas queries em relação à sua instância do banco de dados federado.
Você pode selecionar AWS, Azure ou Google Cloud. Após sua instância do banco de dados federado ser criada, você não poderá alterar o provedor de nuvem onde o Atlas Data Federation processa suas queries.
Se quiser executar queries de dados em um Atlas cluster, recomendamos que você selecione esse mesmo provedor de nuvem como o provedor de nuvem do cluster. Para executar queries de dados no armazenamento de objeto ,como AWS S3 ou Azure Blob Storage, você deve selecionar a mesma nuvem para sua instância do banco de dados federado que a nuvem para o armazenamento de objeto .
Especifique seu armazenamento de dados.
Selecione o conjunto de dados para sua instância do banco de dados federado na seção Data Sources .
Clique em Add Data Sources para selecionar seu armazenamento de dados.
Especifique seu conjunto de dados.
Escolha Atlas Cluster para configurar uma instância do banco de dados federado para dados no cluster Atlas.
Corresponde à configuração
stores.[n].providerJSON.Selecione o Atlas cluster que deseja utilizar como armazenamento de dados na seção Provide Namespaces in this project .
Corresponde à configuração
stores.[n].clusterNameJSON.Expanda os bancos de dados e selecione as coleções que você deseja adicionar à sua instância do banco de dados federado.
Para filtrar os bancos de dados e as coleções, insira texto no campo Search database or collection . A caixa de diálogo exibe somente bancos de dados e collections com nomes que correspondem aos seus critérios de pesquisa.
Corresponde às definições de configuração JSON
databases.[n].collections.[n].dataSources.[n].databaseedatabases.[n].collections.[n].dataSources.[n].collection.Opcional. Especifique as configurações do Cluster Read Preference expandindo a seção.
Corresponde a
stores.[n].readPreference.Nome do campoDescriçãoRead Preference Mode
Especifica o membro do conjunto de réplicas para o qual você deseja rotear as solicitações de leitura. Você pode escolher uma das seguintes opções no menu suspenso:
primary- para rotear todas as solicitações de leitura para o conjunto de réplicas primárioprimaryPreferred- para rotear todas as solicitações de leitura do conjunto de réplicas primário e para membros secundários somente seprimarynão estiver disponívelsecondary- para rotear todas as solicitações de leitura para os membros secundários do conjunto de réplicassecondaryPreferred- para rotear todas as solicitações de leitura para os membros secundários do conjunto de réplicas e o primary em clusters fragmentados somente se os membrossecondarynão estiverem disponíveisnearest- para rotear todas as solicitações de leitura para um membro aleatório qualificado do conjunto de réplicas, independentemente de esse membro ser primário ou secundário
IMPORTANTE Se você adicionar um cluster Atlas como um armazenar, o valor padrão será
secondary.Se você não definir nada na configuração de armazenamento da instância do banco de dados federado , o valor padrão será
nearest. Para saber mais, consulte modo de read preference.Corresponde a
stores.[n].readPreference.mode.TagSets
Especifica a lista de tags ou documentos de especificação de tags que contêm pares de nome e valor para o membro do conjunto de réplicas para o qual você deseja direcionar as solicitações de leitura. Para saber mais, consulte Conjuntos de tags de read preference.
Corresponde a
stores.[n].readPreference.tagSets.Maxstaleness Seconds
Especifica o atraso de replicação ou "obsoleto", para leituras de secundários. Para saber mais, consulte Preferência de leitura maxStalenessSeconds.
Corresponde a
stores.[n].readPreference.maxStalenessSeconds.Clique em Next.
Crie os bancos de dados, collections e visualizações virtuais e mapeie os bancos de dados, collections e visualizações para seu armazenamento de dados.
(Opcional) Clique em para o:
Banco de dados para editar o nome do banco de dados. Padrão é
VirtualDatabase[n].Corresponde à configuração JSON do
databases.[n].name.Coleção para editar o nome da coleção. O padrão é
VirtualCollection[n].Corresponde à configuração JSON do
databases.[n].collections.[n].name.Visualizar para editar o nome da visualização.
Você pode clicar em:
Add Database para adicionar bancos de dados e coleções.
associado ao banco de dados para adicionar coleções ao banco de dados.
associado à collection para adicionar visualizações na collection. Para criar uma visualização, você deve especificar:
O nome da visualização.
O pipeline a ser aplicado à visualização.
O pipeline de definição de visualização não pode incluir o estágio
$outou$merge. Se a definição de visualização incluir estágios de pipeline aninhados, como$lookupou$facet, essa restrição também se aplicará a esses pipelines aninhados.
Para saber mais sobre visualizações, consulte:
associado ao banco de dados, coleção ou visualização para removê-la.
Selecione Atlas Cluster no menu suspenso da seção Data Sources .
Arraste e solte o armazenamento de dados para mapear com a collection.
Corresponde à configuração JSON do
databases.[n].collections.[n].dataSources.
Sua configuração para um armazenamento de dados do Atlas cluster deve ser semelhante ao seguinte:
1 { 2 "stores" : [ 3 { 4 "name" : "<string>", 5 "provider": "<string>", 6 "clusterName": "<string>", 7 "projectId": "<string>", 8 "readPreference": { 9 "mode": "<string>", 10 "tagSets": [ 11 [{"name": "<string>", "value": "<string>"},...], 12 ... 13 ], 14 "maxStalenessSeconds": <int> 15 } 16 } 17 ], 18 "databases" : [ 19 { 20 "name" : "<string>", 21 "collections" : [ 22 { 23 "name" : "<string>", 24 "dataSources" : [ 25 { 26 "storeName" : "<string>", 27 "database" : "<string>", 28 "databaseRegex": "<string>", 29 "collection" : "<string>", 30 "collectionRegex" : "<string>", 31 "provenanceFieldName": "<string>" 32 } 33 ] 34 } 35 ], 36 "views" : [ 37 { 38 "name" : "<string>", 39 "source" : "<string>", 40 "pipeline" : "<string>" 41 } 42 ] 43 } 44 ] 45 }
Para saber mais sobre essas definições de configuração, consulte Configurar armazenamentos de dados para uma instância do banco de dados federado.
Defina seu armazenamento de dados Atlas .
Edite as definições de configuração JSON mostradas na interface do usuário para
stores. Sua configuração de configuraçãostoresdeve ser semelhante ao seguinte:"stores" : [ { "name" : "<string>", "provider" : "<string>", "clusterName" : "<string>", "projectId": "<string>" "readPreference": { "mode": "<string>", "tagSets": [ [{"name": "<string>", "value": "<string>"},...], ... ], "maxStalenessSeconds": <int> }, "readConcern": { "level": "<string>" } } ] Para saber mais sobre essas definições de configuração, consulte
stores.Defina seus bancos de dados virtuais, collections e visualizações de instância do banco de dados federado .
Edite as definições de configuração JSON mostradas na interface do usuário para
databases. Sua configuração de configuraçãodatabasesdeve ser semelhante ao seguinte:"databases" : [ { "name" : "<string>", "collections" : [ { "name" : "<string>", "dataSources" : [ { "storeName" : "<string>", "database" : "<string>", "databaseRegex": "<string>", "collection" : "<string>", "collectionRegex" : "<string>", "provenanceFieldName": "<string>" } ] } ] } ] Para saber mais sobre essas definições de configuração, consulte
databases.