管理 Atlas Data Federation 查询限制
概述
您可以限制 Atlas Data Federation 为联合数据库实例处理的数据量,以控制成本。要限制处理的数据量,您可以为每个联合数据库实例以及项目中的所有联合数据库实例配置查询限制。您配置的查询限制仅适用于数据处理成本,不适用于其他 Atlas Data Federation 成本,例如数据检索和传输。
您可以为每个项目和每个联合数据库实例的每次查询、每天、每周和每月配置一个限制。 Atlas Data Federation 认为每种类型的每个限制独立于其他配置的限制。 如果您为项目和项目中的联合数据库实例配置相同类型的限制,则 Atlas Data Federation 将执行两者中限制性更强的限制。 限制值必须介于 1GiB(1024^3 字节)和 1EiB 之间。
默认情况下,Atlas Data Federation 为所有新的联合数据库实例每月处理的数据量设置 100 TB 的限制。
注意
Atlas Data Federation 对每个云对象存储强制执行项目限制。 例如,假设您有 2 个联合数据库实例,一个位于 Amazon Web Services上,另一个位于Azure上。Atlas Data Federation 允许每个联合数据库实例扫描高达 100 TB 的数据,因此该项目的总扫描量为 200 TB。
当 Atlas Data Federation 达到数据限制时会发生什么?
当处理的数据量达到配置的限制量时,如果限制类型 为每个查询,Atlas Data Federation 将停止处理已达到限制的查询的数据。 对于其他类型的限制,Atlas Data Federation 不会执行任何新查询,直到根据配置的限制类型重置限制。 也就是说,Atlas Data Federation 不会执行任何新查询,直到:
限额类型为 每天 的于
00:00
UTC 开始的下一个日历日。限额类型为 每周 的于星期一
00:00
UTC 开始的下一个日历周。对于限额类型为 每月 的下一个日历月,从每月第一天
00:00
(1 日) UTC 开始。
如果为项目和项目中的联合数据库实例配置相同类型的限制,但为项目和项目中的联合数据库实例设置不同的限制金额,则以下情况适用:
如果 Atlas Data Federation 在达到项目中任何联合数据库实例限制量之前就达到项目限制量,则 Atlas Data Federation 将允许针对项目中所有联合数据库实例完成的所有正在运行的查询完成。
如果 Atlas Data Federation 未达到项目的限制量,但达到为项目中任何联合数据库实例设置的限制量,则 Atlas Data Federation 将允许针对该联合数据库实例完成所有正在运行的查询,但不会执行针对该联合数据库实例的任何新查询。 Atlas Data Federation 继续对项目中的其他联合数据库实例执行查询,直到达到为项目设置的限制量。 当 Atlas Data Federation 达到项目限制量时,Atlas Data Federation 允许针对项目中的所有联合数据库实例完成所有正在运行的查询,但不会针对项目中的任何联合数据库实例执行任何新查询。
当 Atlas Data Federation 达到数据处理限制时,Atlas Data Federation 会在 Atlas 用户界面中显示警告。 此外,您可以将 Atlas Data Federation 配置为在 Atlas Data Federation 达到限制时尽快终止超过限制的查询,而不是允许正在运行的查询完成。
启用查询终止后会发生什么情况?
如果您将 Atlas Data Federation 配置为终止超过限制的查询,则当 Atlas Data Federation 达到适用限制时,Atlas Data Federation 会尝试终止查询。 当 Atlas Data Federation 尝试终止查询时,Atlas Data Federation 可能会略微超出限制。 Atlas Data Federation 不返回任何结果,仅返回错误。 但是,您将看到 Atlas Data Federation 在达到限制之前处理的数据量的数据处理费用。
如果您为项目中的项目和联合数据库实例配置相同类型的限制,但具有不同的限制金额和查询终止设置,则仅当 Atlas Data Federation 处理的数据量达到与查询终止关联的限制金额。
例子
假设启用终止时的项目限制为每周100 GB,禁用终止时的联合数据库实例限制为每周60 GB。
当针对联合数据库实例的一个或多个查询达到 60 GB 限制时,Atlas Data Federation 将终止针对联合数据库实例的所有正在运行的查询,并且不会执行任何新查询。 Atlas Data Federation 继续对项目中的其他联合数据库实例执行所有正在运行的查询和新查询,直到 Atlas Data Federation 达到 100 GB 的项目限制。
当一个或多个查询达到项目的 100 GB 限制时,Atlas Data Federation 不会执行任何新查询,并终止针对项目中所有联合数据库实例的所有查询。
必需的访问权限
要添加、编辑或删除查询限制,您必须对项目拥有Project Owner
访问权限。拥有Organization Owner
访问权限的用户必须先将自己添加为项目的Project Owner
,然后才能添加、编辑或删除查询限制。
要查看查询限制,您必须对项目具有Project Read Only
或更高级别的访问权限。
步骤
添加查询限制
您可以为通过 Atlas CLI、Atlas 用户界面和API的查询配置处理数据量限制。
要使用 Atlas CLI 创建新的 Data Federation 查询限制,请运行以下命令:
atlas dataFederation queryLimits create <name> [options]
要了解有关命令语法和参数的更多信息,请参阅 Atlas DataFederation queryLimits create 的 Atlas CLI 文档。
Add Query Limit单击 以配置限制。
您可以在Add Query Limit窗口中配置以下字段:
字段名称 | 说明 |
---|---|
Limit For | 指定该限制是针对项目还是针对联合数据库实例。单击下拉列表,然后选择要应用限制的项目或联合数据库实例。添加限制后,您将无法修改此设置。 |
Limit Type | 指定限制持续时间。单击下拉列表以选择以下选项之一:
添加限制后,您将无法修改此设置。 |
Limit Amount | 在 MB 、 GB 或TB 中指定要限制的数据量。 |
Terminate Queries | 将 切换为 以启用查询终止。您无法为“按查询”限制类型启用查询终止,因为默认情况下,Atlas Data Federation 会在查询达到此限制类型的限制时终止查询。 |
查看查询限制
您可以从 Atlas CLI、Atlas 用户界面和API查看项目和联合数据库实例的查询限制。 您还可以查看 Atlas Data Federation 每天每个实例处理的数据量。
要使用 Atlas CLI 列出项目的 Data Federation 查询限制,请运行以下命令:
atlas dataFederation queryLimits list [options]
要返回使用 Atlas CLI 指定的Data Federation查询限制的详细信息,请运行以下命令:
atlas dataFederation queryLimits describe <name> [options]
要了解有关上述命令的语法和参数的更多信息,请参阅Atlas CLIAtlas dataFederation queryLimits list 和 AtlasAtlas dataFederation queryLimits describe 的 文档
单击Manage Query Limits 查看每个联合数据库实例的限制以及项目中所有联合数据库实例的限制。
Data Federation Query Limits页面显示以下内容:
列名称 | 列说明 |
---|---|
Limit for | 如果限制针对的是项目,则指定项目的名称;如果限制针对的是联合数据库实例,则指定联合数据库实例的名称。 |
Data Processed / Limit | 指示查询处理的数据总量。您可以将鼠标悬停在处理后的数据上以查看以下内容:
|
Limit Type | 指示限制类型。值可以是:
|
Terminate Queries | 指示是否启用了在 Atlas Data Federation 达到限制时终止运行查询的标志。 |
Actions |
要从API检索查询限制,请向limits
端点发送GET
请求。
要检索适用于项目中所有联合数据库实例的一项限制,必须指定项目的唯一 ID 以及要检索的限制的名称。要了解有关检索一个项目限额的语法和选项的更多信息,请参阅API 。要检索项目的所有限制,请指定项目的唯一 ID。要详细了解检索所有联合数据库实例限制的语法和选项,请参阅API。
要检索项目中一个联合数据库实例的一项限制,请指定项目的唯一 ID、联合数据库实例的名称以及要检索的限制的名称。要详细了解检索项目中一个联合数据库实例的一项限制的语法和选项,请参阅API 。要检索项目中联合数据库实例的所有限制,请指定项目的唯一 ID 和联合数据库实例的名称。要详细了解检索所有联合数据库实例限制的语法和选项,请参阅API。
编辑查询限制
您可以从 Atlas 用户界面和API编辑项目和每个联合数据库实例的限制。
根据需要对以下内容进行更改。
您可以修改以下任一设置:
字段名称 | 说明 |
---|---|
Limit Amount | 在
|
Terminate Queries | 将 切换为 以启用查询终止。 您无法为“按查询”限制类型启用查询终止,因为对于此限制类型,Atlas Data Federation 默认会在每个查询达到该限制后尝试终止该查询。 如果您为任何其他类型启用查询终止,Atlas Data Federation 将终止正在运行的已达到限制的查询。 如果您禁用终止,则 Atlas Data Federation 不会重新启动任何已终止的查询,也不会在 Atlas Data Federation 达到限制量时终止任何新的或正在运行的查询。 相反,正在运行的查询将能够完成并扫描其他数据。 要了解更多信息,请参阅启用查询终止后会发生什么?。 |
删除查询限制
您可以从 Atlas CLI、Atlas 用户界面和API中删除项目或每个联合数据库实例的限制。
要使用 Atlas CLI 删除项目中指定的Data Federation查询限制,请运行以下命令:
atlas dataFederation queryLimits delete <name> [options]
要了解有关命令语法和参数的更多信息,请参阅 Atlas DataFederation queryLimits delete 的 Atlas CLI 文档。