Visão geral
Você pode limitar a quantidade de dados que o Atlas Data Federation processa para sua instância do banco de dados federado para controlar os custos. Para limitar a quantidade de dados processados, você pode configurar limites de query por instância do banco de dados federado e para todas as instâncias do banco de dados federado em seu projeto. Os limites de query que você configura se aplicam apenas aos custos de processamento de dados e não se aplicam a outros custos do Atlas Data Federation, como recuperação e transferência de dados.
Você pode configurar um limite por query, por dia, por semana e por mês por projeto e por instância do banco de dados federado. O Atlas Data Federation considera cada limite de cada tipo independente de outros limites configurados. Se você configurar o mesmo tipo de limite para o projeto e para uma instância do banco de dados federado no projeto, o Atlas Data Federation imporá o limite mais restritivo dos dois. Os valores limite devem estar entre 1GiB (1024^3 bytes) e 1EiB.
Por padrão, o Atlas Data Federation define um limite de 100 TB na quantidade de dados processados por mês para todas as novas instância do banco de dados federado.
Observação
O Atlas Data Federation força o limite de projeto por armazenamento de objeto em nuvem. Por exemplo, suponha que você tenha 2 instâncias do banco de dados federado, uma na AWS e outra na Azure. O Atlas Data Federation permite varreduras de até 100TB por instância do banco de dados federado para um total de 200TB para o projeto.
O que acontece quando o Atlas Data Federation atinge o limite de dados?
Quando a quantidade de dados processados atinge o valor limite configurado, o Atlas Data Federation interrompe o processamento de dados para a query que atingiu o limite se o tipo de limite for por query. Para limites de outros tipos, o Atlas Data Federation não executa novas query até que o limite seja redefinido com base no tipo de limite configurado. Ou seja, o Atlas Data Federation não executa nenhuma nova query até:
O próximo dia do calendário começa em
00:00UTC para o tipo de limite de por dia.A próxima semana do calendário começa na segunda-feira, às
00:00UTC , para o tipo de limite por semana.O próximo mês do calendário começa no primeiro dia (1º) do mês às
00:00UTC para o tipo de limite de por mês.
Se você configurar o mesmo tipo de limite para o projeto e a instância do banco de dados federado no projeto, mas com valores de limite diferentes para o projeto e a instância do banco de dados federado no projeto, o seguinte se aplicará:
Se o Atlas Data Federation atingir o valor limite do projeto antes de atingir o valor limite de qualquer instância do banco de dados federado no projeto, o Atlas Data Federation permitirá que todas as query em execução em todas as instância do banco de dados federado no projeto sejam concluídas.
Se o Atlas Data Federation não atingir o valor limite do projeto, mas atingir o valor limite definido para qualquer instância do banco de dados federado no projeto, o Atlas Data Federation permitirá que todas as query em execução nessa instância do banco de dados federado sejam concluídas, mas não será executada qualquer nova query nessa instância do banco de dados federado. O Atlas Data Federation continua executando query em outras instância do banco de dados federado no projeto até atingir o valor limite definido para o projeto. Quando o Atlas Data Federation atinge o valor limite do projeto, o Atlas Data Federation permite que todas as query em execução em todas as instância do banco de dados federado no projeto sejam concluídas, mas não executa novas query em nenhuma instância do banco de dados federado no projeto.
O Atlas Data Federation exibe um aviso na UI do Atlas quando o Atlas Data Federation atinge o limite de processamento de dados. Além disso, você pode configurar o Atlas Data Federation para encerrar as query que excedem o limite o mais rápido possível quando o Atlas Data Federation atingir o limite, em vez de permitir que as query em execução sejam concluídas.
O que acontece quando você habilita o encerramento da query?
Se você configurar o Atlas Data Federation para encerrar query que excedam o limite, o Atlas Data Federation tentará encerrar as query quando o Atlas Data Federation atingir o limite aplicável. Embora o Atlas Data Federation tente encerrar a query, o Atlas Data Federation pode exceder o limite marginalmente. O Atlas Data Federation não retorna nenhum resultado e retorna apenas um erro com o código de erro ResourceExhausted (402). No entanto, você verá cobranças de processamento de dados pela quantidade de dados que o Atlas Data Federation processou antes de atingir o limite.
Se você configurar o mesmo tipo de limite para o projeto e para as instância do banco de dados federado no projeto, mas com diferentes valores de limite e configurações de encerramento de query, o Atlas Data Federation encerra a query apenas quando a quantidade de dados que o Atlas Data Federation processa atinge o valor de limite que você associou ao encerramento da query.
Exemplo
Suponha um limite de projeto de 100 GB por semana com o encerramento habilitado e um limite de instância do banco de dados federado de 60 GB por semana com o encerramento desabilitado.
Quando uma ou mais queries na instância do banco de dados federado atingem o limite de 60 GB, o Atlas Data Federation encerra todas as queries em execução na instância do banco de dados federado e não executa novas queries. O Atlas Data Federation continua a executar todas as queries novas e em execução em outras instâncias do banco de dados federado no projeto até que o Atlas Data Federation atinja o limite do projeto de 100 GB.
Quando uma ou mais queries atingem o limite de 100 GB do projeto, o Atlas Data Federation não executa novas queries e encerra todas as queries em todas as instâncias de banco de dados federado no projeto.
Acesso necessário
To add, edit, or delete query limits, you must have Project Owner access to the project. Users with Organization Owner access must add themselves as a Project Owner to the project before adding, editing, or deleting query limits.
To view limits on queries, you must have Project Read Only access to the project or a role with more access.
Procedimentos
Adicionar limites de query
Você pode configurar limites na quantidade de dados processados para suas query a partir do Atlas CLI, da UI do Atlas e da API.
Para criar um novo limite de query da Data Federation usando o Atlas CLI, execute o seguinte comando:
atlas dataFederation queryLimits create <name> [options]
To learn more about the command syntax and parameters, see the Atlas CLI documentation for atlas dataFederation queryLimits create.
Clique em Manage Query Limits para configurar os limites por instância do banco de dados federado ou para todas as instâncias do banco de dados federado no projeto.
Você pode configurar limites para o projeto e por instância do banco de dados federado. Os limites de query no nível do projeto se aplicam a todas as instâncias do banco de dados de dados federado no projeto, o que impede novas queries em qualquer instância do banco de dados federado quando a quantidade de dados processados atinge o limite. Os limites de query em uma instância do banco de dados federado se aplicam somente a essa instância do banco de dados federado, e o Atlas Data Federation não executará nenhuma nova query nessa instância do banco de dados federado quando a quantidade de dados processados atingir o limite. Você também pode, opcionalmente, habilitar o encerramento de queries quando o Atlas Data Federation atingir o limite configurado.
Clique em Add Query Limit para configurar o limite.
Você pode configurar os seguintes campos na janela Add Query Limit :
Nome do campo | Descrição |
|---|---|
Limit For | Especifique se o limite é para um projeto ou instância do banco de dados federado. Clique no menu suspenso e selecione o projeto ou a instância do banco de dados federado ao qual aplicar o limite. Depois de adicionar o limite, você não poderá modificar esta configuração. |
Limit Type | Especifique a duração do limite. Clique no menu suspenso para escolher uma das seguintes opções:
Depois de adicionar o limite, você não poderá modificar esta configuração. |
Limit Amount | Especifique a quantidade de dados em |
Terminate Queries | Alterne para ativar o encerramento da query. Você não pode habilitar o encerramento de query para Por tipo de limite de query porque, por padrão, o Atlas Data Federation encerra a query quando atinge o limite para esse tipo de limite. |
Clique Add Query Limit em para que as alterações entrem em vigor.
Para limites do tipo Per query, as alterações entram em vigor imediatamente e o Atlas Data Federation impõe o limite somente para todas as novas queries. Para limites de outros tipos, aplica-se o seguinte:
Per day - As alterações entram em vigor no início da segunda-feira na semana atual, no horário UTC .
Per week - As alterações entram em vigor no início da segunda-feira na semana atual, no horário UTC .
Per month - As alterações entram em vigor no primeiro dia, o início do período de cobrança mensal, do projeto no horário UTC .
Para configurar limites de query a partir da API, envie uma solicitação POST para o ponto de extremidade limits.
Para configurar um limite que se aplique a todas as instâncias do banco de dados de dados federado no projeto, você deve especificar a ID exclusiva do projeto e o nome do limite a ser definido. Para saber mais sobre a sintaxe e as opções para definir limites para todas as instâncias do banco de dados de dados federado no projeto, consulte API.
To configure a limit for one federated database instance in a project, specify the unique ID of the project and the name of the federated database instance in the project. To learn more about the syntax and options for setting limits for one federated database instance in a project, see API.
Exibir limites de query
Você pode visualizar os limites de instância do projeto e do reconhecimento de data center federado em query do Atlas CLI, UI do Atlas e API. Você também pode visualizar a quantidade de dados que o Atlas Data Federation processou por instância por dia.
Para listar os limites de query do Data Federation para seu projeto utilizando o Atlas CLI, execute o seguinte comando:
atlas dataFederation queryLimits list [options]
Para retornar os detalhes do limite de query da Data Federation especificado usando o Atlas CLI, execute o seguinte comando:
atlas dataFederation queryLimits describe <name> [options]
Para saber mais sobre a sintaxe e os parâmetros dos comandos anteriores, consulte a documentação do Atlas CLI para Atlas dataFederation queryLimits list e Atlas dataFederation queryLimits describe.
Clique em Manage Query Limits para visualizar os limites por instância do banco de dados federado e para todas as instâncias do banco de dados federado no projeto.
A página Data Federation Query Limits exibe o seguinte:
Nome da coluna | Descrição da coluna |
|---|---|
Limit for | Especifica o nome do projeto se o limite for para o projeto ou o nome da instância do banco de dados federado se o limite for para uma instância do banco de dados federado. |
Data Processed / Limit | Indica a quantidade total de dados processados pelas queries. Você pode passar o mouse sobre os dados processados para visualizar o seguinte:
|
Limit Type | Indica o tipo de limite. O valor pode ser:
|
Terminate Queries | Indica se o sinalizador para encerrar queries em execução quando o Atlas Data Federation atingir o limite está habilitado. |
Actions | Exibe as ações que você pode realizar no limite. Você pode fazer o seguinte: |
Para recuperar os limites da query da API, envie uma solicitação GET para o ponto de extremidade limits.
Para recuperar um limite que se aplica a todas as instâncias do banco de dados de dados federado no projeto, você deve especificar o ID exclusivo do projeto e o nome do limite a ser recuperado. Para saber mais sobre a sintaxe e as opções para recuperar um limite de projeto , consulte API. Para recuperar todos os limites de um projeto, especifique o ID exclusivo do projeto. Para saber mais sobre a sintaxe e as opções para recuperar todos os limites de instância do banco de dados federado , consulte API.
To retrieve one limit for one federated database instance in a project, specify the unique ID of the project, the name of federated database instance, and the name of the limit to retrieve. To learn more about the syntax and options for retrieving one limit for one federated database instance in a project, see API. To retrieve all limits for a federated database instance in a project, specify the unique ID of the project and the name of the federated database instance. To learn more about the syntax and options for retrieving all federated database instance limits, see API.
Editar limites de query
Você pode editar o projeto e por limites de instância do reconhecimento de data center federado a partir da UI e API do Atlas .
Faça as alterações necessárias no seguinte.
Você pode modificar qualquer uma das seguintes configurações:
Nome do campo | Descrição |
|---|---|
Limit Amount | Especifique a quantidade de dados em
|
Terminate Queries | Alterne para ativar o encerramento da query. Você não pode habilitar o encerramento de query para Por tipo de limite de query porque, para esse tipo de limite, o Atlas Data Federation tentará encerrar cada query assim que atingir o limite por padrão. Se você habilitar o encerramento da query para qualquer outro tipo, o Atlas Data Federation encerrará as queries em execução que atingiram o limite. Se você desabilitar o encerramento, o Atlas Data Federation não reiniciará nenhuma query encerrada e não encerrará nenhuma query nova ou em execução quando o Atlas Data Federation atingir o valor limite. Em vez disso, sua query em execução poderá concluir e verificar dados adicionais. To learn more, see What Happens When You Enable Query Termination?. |
Para modificar os limites da query da API, envie uma solicitação PATCH para o ponto de extremidade limits.
Para atualizar um limite que se aplica a todas as instâncias do banco de dados de dados federado no projeto, você deve especificar o ID exclusivo do projeto e o nome do limite a ser atualizado. Para saber mais sobre a sintaxe e as opções para atualizar um limite de projeto , consulte API.
Para atualizar um limite para uma instância do banco de dados federado em um projeto, especifique o ID exclusivo do projeto, o nome da instância do banco de dados federado e o nome do limite a ser atualizado. Para saber mais sobre a sintaxe e as opções para atualizar um limite para uma instância do banco de dados federado em um projeto, consulte API.
Excluir limites de query
Você pode excluir um projeto ou por limite de instância do banco de dados federado a partir do Atlas CLI, UI do Atlas e API.
Para remover o limite de query da Data Federation especificado do seu projeto usando a Atlas CLI, execute o seguinte comando:
atlas dataFederation queryLimits delete <name> [options]
To learn more about the command syntax and parameters, see the Atlas CLI documentation for atlas dataFederation queryLimits delete.
Para excluir os limites de query da API, envie uma solicitação DELETE para o ponto de extremidade limits.
To delete one limit that applies to all federated database instances in the project, you must specify the unique ID of the project and the name of the limit to delete. To learn more about the syntax and options for deleting one project limit, see API.
To delete one limit for one federated database instance in a project, specify the unique ID of the project and the name of the limit to delete. To learn more about the syntax and options for deleting one limit for one federated database instance in a project, see API.