速率限制是指对您在指定时间段内可以从 Voyage AI请求令牌的频率和数量的限制。要学习；了解有关速率限制的更多信息，请参阅最佳实践。
Atlas根据模型API密钥 的使用情况（每分钟请求数 (RPM) 和每分钟令牌数 (TPM)）实施速率限制。如果超过最近一分钟内的请求或令牌数量，则 API会拒绝任何后续的其他请求，并返回 429（已超出速率限制） HTTP状态代码。
管理速率限制
以下部分介绍如何在Atlas用户界面中管理速率限制。
所需权限
要在项目级别设立和重置速率限制，您必须拥有Atlas的Project Owner 或更高访问权限。
要查看速率限制：
Organization Read Only在组织和项目级别，您必须对Atlas拥有 或更高访问权限。Project Read Only仅在项目级别，您必须对Atlas具有 或更高访问权限。
设置速率限制
您可以在项目级别为每个项目设立不同的限制。项目级别的速率限制不能超过组织的速率限制。在项目级别设立的速率限制应用于项目的所有模型API密钥。
查看速率限制
您可以查看组织和项目级别的速率限制。
Rate Limits从左侧导航中选择 。
该页面显示有关速率限制的以下信息：
列名称 | 列说明 |
|---|---|
Model | Voyage AI嵌入模型列表。 |
Tokens Per Minute (TPM) | 您可以在一分钟内从 Voyage AI Embedding 和 Reranking API端点请求的令牌数量。 |
Requests Per Min (RPM) | 一分钟内可以发送到 Voyage AI Embedding 和 Reranking API端点的请求数量。 |
Actions | 您可以采取的操作。您可以：
|
如果设立了自定义限制，页面还会显示 Reset all limits 按钮，用于将页面上的所有自定义速率限制恢复为组织的默认。
重置所有速率限制
您可以随时重置为项目设立的所有自定义限制。重置限制时，项目的速率限制将恢复为组织的默认速率限制。
使用层级
速率限制采用分层系统，层级越高，限制越多。层级资格基于计费使用量（不包括免费令牌）。 Atlas为每个模型提供 200 万个免费令牌。多模式模型还包括 150 十亿个可用像素。一旦您有资格获得某一层级，就永远不会降级。随着使用量和支出的增加， Atlas会自动将您提升到下一个使用层级，从而提高所有模型的费率限制。
默认速率限制
本部分介绍在组织级别应用的每个使用层级的默认速率限制。它还描述了您可以为每个项目配置的速率限制。
组织速率限制
下表显示了每个 Voyage AI嵌入模型基于使用层级的默认速率限制（TPM 和 RPM）。
模型 | Tokens Per Min (TPM) | 每分钟请求数 (RPM) |
|---|---|---|
| 16,000,000 | 2 , 000 |
| 8,000,000 | 2 , 000 |
| 3,000,000 | 2 , 000 |
| 3,000,000 | 2 , 000 |
| 2,000,000 | 2 , 000 |
| 4,000,000 | 2 , 000 |
| 2,000,000 | 2 , 000 |
使用层级 2 的速率限制是使用层级 1 的两倍。
模型 | Tokens Per Min (TPM) | 每分钟请求数 (RPM) |
|---|---|---|
| 32,000,000 | 4 , 000 |
| 16,000,000 | 4 , 000 |
| 6,000,000 | 4 , 000 |
| 6,000,000 | 4 , 000 |
| 4,000,000 | 4 , 000 |
| 8,000,000 | 4 , 000 |
| 4,000,000 | 4 , 000 |
使用层级 3 的速率限制是使用层级 1 的三倍。
模型 | Tokens Per Min (TPM) | 每分钟请求数 (RPM) |
|---|---|---|
| 48,000,000 | 6 , 000 |
| 24,000,000 | 6 , 000 |
| 9,000,000 | 6 , 000 |
| 9,000,000 | 6 , 000 |
| 6,000,000 | 6 , 000 |
| 12,000,000 | 6 , 000 |
| 6,000,000 | 6 , 000 |
项目速率限制
默认下，项目会继承基于组织速率限制的速率限制。但是，您可以在项目级别为每个项目设立不同的限制。项目级别的速率限制不能超过组织的速率限制。在项目级别设立的速率限制应用于项目的所有模型API密钥。但是，如果首先达到组织速率限制，则项目可能会被速率限制为较低的速率。当所有项目速率限制的总和超过组织限制时，可能会发生这种情况。
例子
考虑具有三个项目的组织速率限制 O，其速率限制为 P1 、P2 和 P3 。下表说明了项目速率限制总和小于、等于或大于组织速率限制的三种情况。对于每种情况，该表都会指示是否会达到组织限制，以及一个项目的使用是否会影响另一个项目。
Scenario 1 P1 + P2 + P3 < O | Scenario 2 P1 + P2 + P3 = O | Scenario 3 P1 + P2 + P3 > O | |
|---|---|---|---|
场景描述 | 所有项目速率限制的总和小于组织限制。 | 所有项目速率限制的总和等于组织限制。 | 所有项目速率限制的总和大于组织限制。 |
能否达到组织限制？ | 不会，即使所有项目都达到其速率限制，也不会超过组织速率限制。 | 是的，如果所有项目都达到其速率限制，则也会达到组织限制。 | 是的，由于所有项目速率限制的总和超过组织限制，因此可以在单个项目达到各自的限制之前达到组织限制。 |
一个项目的使用是否会影响另一个项目？ | No. | No. | 是的。如果在任何或所有项目达到各自的限制之前，项目共同消耗的使用量足以达到组织限制，则可以将项目的速率限制为低于其各自的限制。 |
最佳实践
速率限制可确保均衡、高效地利用API的资源，防止出现可能影响服务整体性能和可访问性的过多流量。具体而言，速率限制提供服务以下重要目的：
速率限制促进所有用户平等地访问权限API 。如果一个人或组织生成过多请求，则可能会影响其他人或组织的API性能。通过速率限制，我们确保更多用户可以使用该API ，而不会遇到性能问题。
速率限制启用Voyage AI能够有效管理其基础架构上的工作负载。 API请求的突然大幅增长可能会给服务器资源造成压力，并导致性能下降。通过建立速率限制，Voyage AI可以有效地为所有用户保持一致且可靠的体验。
它们可防止潜在的API滥用或误用。实例，恶意行为者可能会尝试用过多的请求淹没API ，使其过载或中断其服务。通过设置速率限制，Voyage AI可以阻止此类恶意活动。
为了避免和管理速率限制错误，我们建议采用以下最佳实践。
使用大批量
如果您有许多文档要嵌入，则可以增加每个请求嵌入的文档数量，并通过发送更大的批次来提高总体吞吐量。 “批处理”是指要在一次请求中嵌入的文档集合，“批处理大小”是批处理中的文档数量，即文档列表的长度。
例子
假设您要对512 文档进行矢量化。如果您使用的批处理大小为1 ，则需要512 个请求，并且可能会达到 RPM 限制。但是，如果您使用的批处理大小为128 ，则这只需要4 个请求，并且不会达到 RPM 限制。您可以通过更改在请求中提供的文档数量来控制批处理大小，使用较大的批处理大小会降低给定数量文档的总体 RPM。
在选择批处理大小时，必须考虑API最大批处理大小和令牌。不能超过API最大批处理大小。如果您的文档较长，每个请求的令牌限制可能会限制您只能使用较小的批处理大小。
设置等待期
减少提出请求的频率。为此，您可以调整请求的节奏，最直接的方法是在每个请求之间插入等待时间。
执行指数退避
达到速率限制后进行回退（即，收到 429 错误）。在收到速率限制错误后，您可以等待一段呈指数增长的时间，然后再重试。等待请求成功或达到最大重试次数。
例子
如果初始等待时间为一秒，并且在成功之前连续出现三个速率限制错误，则在每次出现速率限制错误后，您将分别等待一秒、两秒和四秒，然后才能重新发送请求。