Los límites de velocidad son restricciones sobre la frecuencia y la cantidad de tokens que puedes solicitar a Voyage AI en un periodo específico. Para obtener más información sobre los límites de velocidad, consulta las prácticas recomendadas.
Atlas aplica límites de velocidad según la clave API del modelo uso (solicitudes por minuto (RPM) y tokens por minuto (TPM)). Si excede la cantidad de solicitudes o tokens en el minuto más reciente, el La API rechaza cualquier solicitud adicional posterior y devuelve un 429 (Límite de velocidad excedido) Código de estado HTTP.
Administrar límites de velocidad
Las siguientes secciones describen cómo administrar los límites de velocidad en la interfaz de usuario de Atlas.
Permisos requeridos
Para establecer y restablecer límites de velocidad a nivel de proyecto, debe tener acceso o superior a Project Owner Atlas.
Para ver los límites de velocidad:
En los niveles de organización y proyecto, debe tener o más acceso a
Organization Read OnlyAtlas.Solo en el nivel de proyecto, debe tener o acceso superior a
Project Read OnlyAtlas.
Establecer límites de velocidad
Puede establecer diferentes límites para cada proyecto a nivel de proyecto. Los límites de tasa a nivel de proyecto no pueden superar los límites de tasa de la organización. Los límites de tasa establecidos a nivel de proyecto se aplican a todas las claves API del modelo del proyecto.
Inicia sesión en Atlas.
Ir a la AI Models página en la interfaz de usuario de Atlas.
Si aún no se muestra, selecciona la organización deseada en el menú Organizations de la barra de navegación.
Si aún no aparece, selecciona el proyecto deseado en el menú Projects de la barra de navegación.
En el nivel del proyecto, haga clic en AI Models debajo del encabezado Services en la barra de navegación.
Establezca los límites de velocidad para el proyecto.
Desde la barra de navegación, selecciona Rate Limits.
En la Actions columna correspondiente al modelo de incrustaciones para el que desea modificar los límites de velocidad, haga clic en.
Modificar los valores de TPM y RPM.
Los límites de velocidad a nivel de proyecto para cada modelo pueden ser cualquier valor menor o igual al límite de velocidad de la organización.
Ejemplo
En el nivel de uso 1, los límites de velocidad para el modelo de integración
voyage-4de un proyecto se pueden establecer en2000RPM y8,000,000TPM, o menos.Haga clic para aplicar el límite de tarifa.
Ver límites de velocidad
Puede ver los límites de velocidad a nivel de organización y proyecto.
Inicia sesión en Atlas.
La página muestra la siguiente información:
Nombre | Descripción |
|---|---|
Model | Lista de modelos de incorporación de Voyage AI. |
Tokens Per Minute (TPM) | Cantidad de tokens que puedes solicitar en un minuto desde los puntos finales de la API de inserción y reclasificación. |
Requests Per Min (RPM) | Número de solicitudes API que puedes enviar en un minuto a los endpoints API de Embedding y Reranking. |
Inicia sesión en Atlas.
Vaya a la AI Models página en la interfaz de usuario de Atlas.
Si aún no se muestra, selecciona la organización deseada en el menú Organizations de la barra de navegación.
Si aún no aparece, selecciona el proyecto deseado en el menú Projects de la barra de navegación.
En el nivel del proyecto, haga clic en AI Models debajo del encabezado Services en la barra de navegación.
Rate Limits Seleccione en la navegación izquierda.
La página muestra la siguiente información sobre los límites de tarifa:
Nombre de columna | Descripción de la columna |
|---|---|
Model | Lista de modelos de incorporación de Voyage AI. |
Tokens Per Minute (TPM) | Cantidad de tokens que puedes solicitar en un minuto desde los puntos finales de la API de incrustación y reclasificación de Voyage AI. |
Requests Per Min (RPM) | Cantidad de solicitudes que puede enviar en un minuto a los puntos finales de la API de incrustación y reclasificación de Voyage AI. |
Actions | Acciones que puedes realizar. Puedes:
|
Si establece límites personalizados, la página también muestra el botón Reset all limits para revertir todos los límites de velocidad personalizados en la página a los valores predeterminados para la organización.
Restablecer todos los límites de velocidad
Puedes restablecer todos los límites personalizados que hayas establecido para un proyecto en cualquier momento. Al restablecerlos, los límites de velocidad del proyecto vuelven a los predeterminados de la organización.
Inicia sesión en Atlas.
Vaya a la AI Models página en la interfaz de usuario de Atlas.
Si aún no se muestra, selecciona la organización deseada en el menú Organizations de la barra de navegación.
Si aún no aparece, selecciona el proyecto deseado en el menú Projects de la barra de navegación.
En el nivel del proyecto, haga clic en AI Models debajo del encabezado Services en la barra de navegación.
Niveles de uso
Los límites de velocidad siguen un sistema escalonado, donde los niveles superiores ofrecen límites más altos. La elegibilidad para un nivel se basa en el uso facturado (sin incluir tokens gratuitos). Atlas ofrece 200 millones de tokens gratuitos para cada modelo. Los modelos multimodales también incluyen 150 mil millones de píxeles gratuitos. Una vez que califique para un nivel, nunca bajará de categoría. A medida que aumente su uso y gasto, Atlas lo ascenderá automáticamente al siguiente nivel de uso, aumentando los límites de velocidad en todos los modelos.
Para obtener más información, consulte Límites de velocidad y niveles de uso.
Límites de tasa predeterminados
Esta sección describe los límites de velocidad predeterminados para cada nivel de uso que se aplican a nivel de organización. También describe los límites de velocidad que se pueden configurar para cada proyecto.
Límites de velocidad de la organización
Las siguientes tablas muestran los límites de velocidad predeterminados(TPM y RPM) según el nivel de uso para cada modelo de incorporación de Voyage AI.
Modelo | Tokens Per Min (TPM) | Solicitudes por minuto (RPM) |
|---|---|---|
| 16,000,000 | 2,000 |
| 8,000,000 | 2,000 |
| 3,000,000 | 2,000 |
| 3,000,000 | 2,000 |
| 2,000,000 | 2,000 |
| 4,000,000 | 2,000 |
| 2,000,000 | 2,000 |
Los límites de velocidad para el nivel de uso 2 son el doble de los del nivel de uso 1.
Modelo | Tokens Per Min (TPM) | Solicitudes por minuto (RPM) |
|---|---|---|
| 32,000,000 | 4,000 |
| 16,000,000 | 4,000 |
| 6,000,000 | 4,000 |
| 6,000,000 | 4,000 |
| 4,000,000 | 4,000 |
| 8,000,000 | 4,000 |
| 4,000,000 | 4,000 |
Los límites de velocidad para el nivel de uso 3 son tres veces los del nivel de uso 1.
Modelo | Tokens Per Min (TPM) | Solicitudes por minuto (RPM) |
|---|---|---|
| 48,000,000 | 6,000 |
| 24,000,000 | 6,000 |
| 9,000,000 | 6,000 |
| 9,000,000 | 6,000 |
| 6,000,000 | 6,000 |
| 12,000,000 | 6,000 |
| 6,000,000 | 6,000 |
Límites de velocidad del proyecto
De forma predeterminada, los proyectos heredan los límites de velocidad según los límites de velocidad de la organización. Sin embargo, puede establecer límites diferentes para cada proyecto a nivel de proyecto. Los límites de velocidad a nivel de proyecto no pueden superar los límites de velocidad de la organización. Los límites de velocidad establecidos a nivel de proyecto se aplican a todas las claves de API de modelo del proyecto. Sin embargo, si se alcanza primero el límite de velocidad de la organización, los proyectos podrían tener una limitación de velocidad inferior. Esto puede ocurrir cuando la suma de todos los límites de velocidad del proyecto supera el límite de la organización.
Ejemplo
Considere un límite de velocidad de organización O con tres proyectos con límites de velocidad P,1 P2 y P. La tabla a continuación ilustra tres escenarios donde la suma de los límites de velocidad del proyecto es menor, igual o mayor que el límite de velocidad de la organización. Para cada escenario, la tabla indica si se puede alcanzar el límite de la organización y si el uso de un proyecto puede afectar a 3otro.
Scenario 1 P1 + P2 + P3 < O | Scenario 2 P1 + P2 + P3 = O | Scenario 3 P1 + P2 + P3 > O | |
|---|---|---|---|
Descripción del escenario | La suma de todos los límites de velocidad del proyecto es menor que el límite de la organización. | La suma de todos los límites de velocidad del proyecto es igual al límite de la organización. | La suma de todos los límites de velocidad del proyecto es mayor que el límite de la organización. |
¿Se puede alcanzar el límite de la organización? | No, incluso si todos los proyectos alcanzan sus límites de velocidad, no se superará el límite de velocidad de la organización. | Sí, si todos los proyectos alcanzan sus límites de velocidad, también se alcanzará el límite de la organización. | 是的，由于所有 **proyectos** 的速率限制总和超过了 **organización** 限制，在各个 **proyectos** 达到各自限制前，可能先达到 **organización** 限制。 |
¿Puede el uso de un proyecto afectar a otro? | No. | No. | Sí. Si los proyectos consumen colectivamente suficiente uso para alcanzar el límite de la organización antes de que alguno o todos los proyectos alcancen sus límites individuales, los proyectos pueden tener una tasa limitada a una tasa inferior a sus límites individuales. |
Mejores prácticas
Los límites de tasa garantizan una utilización equilibrada y eficiente de los recursos de la API, previniendo un tráfico excesivo que podría impactar en el desempeño y la accesibilidad general del servicio. Específicamente, los límites de tasa sirven las siguientes finalidades vitales:
Los límites de velocidad promueven un acceso equitativo a la API para todos los usuarios. Si una persona u organización genera un volumen excesivo de solicitudes, podría afectar el rendimiento de la API para otros. Mediante la limitación de velocidad, garantizamos que un mayor número de usuarios pueda utilizar la API sin experimentar problemas de rendimiento.
Los límites de velocidad permiten a Voyage AI gestionar eficazmente la carga de trabajo en su infraestructura. Los picos repentinos y significativos en las solicitudes de API podrían sobrecargar los recursos del servidor y reducir el rendimiento. Al establecer límites de velocidad, Voyage AI puede garantizar una experiencia consistente y fiable para todos los usuarios.
Actúan como protección contra posibles abusos o usos indebidos de la API. Por ejemplo, actores maliciosos podrían intentar saturar la API con solicitudes excesivas para sobrecargarla o interrumpir sus servicios. Al establecer límites de velocidad, Voyage AI puede impedir estas actividades maliciosas.
Para evitar y gestionar errores de límite de velocidad, recomendamos las siguientes prácticas recomendadas.
Utilice lotes grandes
Si tiene muchos documentos para incrustar, puede aumentar la cantidad de documentos que incrusta por solicitud y aumentar su rendimiento general enviando lotes más grandes. Un "lote" es el conjunto de documentos que incrusta en una solicitud, y el "tamaño del lote" es la cantidad de documentos que contiene, es decir, la longitud de la lista de documentos.
Ejemplo
Supongamos que desea vectorizar 512 documentos. Si usara un tamaño de lote de,1 se requerirían 512 solicitudes y podría alcanzar el límite de RPM. Sin embargo, si usara un tamaño de lote 128 de, solo se requerirían 4 solicitudes y no alcanzaría el límite de RPM. Puede controlar el tamaño del lote modificando el número de documentos que proporciona en la solicitud; usar lotes más grandes reducirá el RPM total para un número determinado de documentos.
Debe tener en cuenta el tamaño máximo de lote de la API y los tokens al seleccionar el tamaño de lote. No puede superar el tamaño máximo de lote de la API. Si tiene documentos más largos, el límite de tokens por solicitud podría limitarle a un tamaño de lote menor.
Establecer un período de espera
Disminuya la frecuencia de las solicitudes. Puede lograrlo regulando el ritmo de las solicitudes, y la estrategia más sencilla es añadir un período de espera entre cada solicitud.
Realizar retroceso exponencial
Retrocede una vez que alcances tu límite de tasa (es decir, cuando recibas un error 429). Podrías esperar un tiempo exponencialmente mayor tras recibir un error de límite de tasa antes de intentar nuevamente. Espera a que la solicitud sea exitosa o hasta que se alcance el número máximo de reintentos.
Ejemplo
Si su tiempo de espera inicial fue de un segundo y recibió tres errores de límite de velocidad consecutivos antes del éxito, deberá esperar uno, dos y cuatro segundos después de cada error de límite de velocidad, respectivamente, antes de volver a enviar la solicitud.