Para agentes de IA: hay un índice de documentación disponible en https://www.mongodb.com/es/docs/llms.txt — versiones en markdown de todas las páginas están disponibles agregando .md a cualquier ruta URL.

Gestionar límites de tasa

Los límites de velocidad son restricciones sobre la frecuencia y el número de tokens que puedes solicitar a Voyage IA dentro de un período de tiempo específico. Para obtener más información sobre los límites de velocidad, consulta mejores prácticas.

Atlas aplica límites de velocidad basados en el uso de la clave API del modelo (solicitudes por minuto (RPM) y tokens por minuto (TPM)). Si supera el número de solicitudes o tokens en el último minuto, la API deniega cualquier solicitud adicional posterior y devuelve un código de estado HTTP 429 (Límite de velocidad superado).

Las siguientes secciones describen cómo gestionar los límites de frecuencia en la interfaz de usuario de Atlas.

Para establecer y restablecer límites de tasa a nivel de proyecto, debes tener Project Owner acceso a Atlas o superior.

Para ver los límites de tarifas:

Puedes establecer diferentes límites para cada proyecto a nivel de proyecto. Los límites de velocidad a nivel de proyecto no pueden exceder los límites de velocidad para la organización. Los límites de velocidad establecidos a nivel de proyecto se aplican a todas las claves de API de modelos para el proyecto.

1
2
  1. Si aún no se muestra, selecciona la organización deseada en el menú Organizations de la barra de navegación.

  2. Si aún no aparece, selecciona el proyecto deseado en el menú Projects de la barra de navegación.

  3. A nivel de proyecto, haz clic en AI Model APIs en el encabezado Services de la barra de navegación.

3
  1. Desde la barra de navegación, selecciona Rate Limits.

  2. En la columna Actions correspondiente al modelo de embeddings para el que desees modificar los límites de velocidad, haz clic en .

  3. Modifica los valores de TPM y RPM.

    Los límites de frecuencia a nivel de proyecto para cada modelo pueden ser cualquier valor menor o igual al límite de frecuencia de la organización.

    Ejemplo

    En el nivel de uso 1, los límites de tasas para el modelo de embeddings voyage-4 de un proyecto pueden establecerse en 2000 RPM y 8,000,000 TPM, o más bajos.

  4. Haz clic en para aplicar el límite de velocidad.

Puedes ver los límites de tasas a nivel de organización y de proyecto.

1
2
  1. Si aún no se muestra, selecciona la organización deseada en el menú Organizations de la barra de navegación.

  2. A nivel de organización, haz clic en Rate Limits bajo el encabezado Services en la barra de navegación.

La página muestra la siguiente información:

Nombre
Descripción

Model

Lista de modelos de incrustación de Voyage IA.

Tokens Per Minute (TPM)

Número de tokens que puedes solicitar en un minuto desde los puntos finales de las API de Embedding y Reranking.

Requests Per Min (RPM)

Número de solicitudes API que puedes enviar en un minuto a los endpoints API de Embedding y Reranking.

Puedes restablecer todos los límites personalizados que hayas establecido para un proyecto en cualquier momento. Cuando restablezcas los límites, los límites de frecuencia del Proyecto volverán a los límites de frecuencia por defecto para la organización.

1
2
  1. Si aún no se muestra, selecciona la organización deseada en el menú Organizations de la barra de navegación.

  2. Si aún no aparece, selecciona el proyecto deseado en el menú Projects de la barra de navegación.

  3. A nivel de proyecto, haz clic en AI Model APIs en el encabezado Services de la barra de navegación.

3
  1. Desde la barra de navegación, selecciona Rate Limits.

  2. En la página, haga clic en Reset all limits en la esquina superior derecha.

Los límites de tasa siguen un sistema de niveles, con niveles superiores que ofrecen límites más altos. La calificación para un nivel se basa en el uso facturado (excluyendo los tokens gratuitos). Atlas ofrece 200 millones de tokens gratuitos para cada modelo. Los modelos multimodales también incluyen 150,000,000,000 píxeles libres. Una vez que califique para un nivel, nunca se le degrada. A medida que aumentan su uso y gasto, Atlas lo asciende automáticamente al siguiente nivel de uso, aumentando los límites de velocidad en todos los modelos.

Para obtener más información, consulta Límites de cuota y niveles de uso.

Esta sección describe los límites de tasa por defecto para cada nivel de uso que se aplican a nivel organizacional. También describe los límites de velocidad que se pueden configurar para cada proyecto.

Las siguientes tablas muestran los límites de velocidad por defecto (TPM y RPM) según el nivel de uso para cada modelo de embedding de Voyage IA.

Modelo
Tokens Per Min (TPM)
solicitudes por minuto (RPM)

voyage-4-lite, voyage-3.5-lite

16,000,000

2,000

voyage-4, voyage-3.5, voyage-code-4

8,000,000

2,000

voyage-4-large, voyage-context-4

3,000,000

2,000

voyage-3-large, voyage-context-3, voyage-code-3, voyage-code-2, voyage-law-2, voyage-finance-2

3,000,000

2,000

voyage-multimodal-3.5, voyage-multimodal-3

2,000,000

2,000

rerank-3-lite, rerank-2.5-lite, rerank-2-lite

4,000,000

2,000

rerank-3, rerank-2.5, rerank-2

2,000,000

2,000

Por defecto, los proyectos heredan los límites de tasa en función de los límites de tasa para la organización. Sin embargo, se pueden establecer límites diferentes para cada proyecto a nivel de proyecto. Los límites de velocidad a nivel de proyecto no pueden exceder los límites de velocidad de la organización. Los límites de velocidad establecidos a nivel de proyecto se aplican a todas las claves API de modelos del proyecto. Sin embargo, si primero se alcanza el límite de velocidad de la organización, los proyectos podrían verse limitados a una velocidad inferior. Esto puede ocurrir cuando la suma de todos los límites de velocidad del proyecto excede el límite de la organización.

Ejemplo

Considera un límite de tasa organizacional O con tres proyectos con límites de tasa P1, P2 y P3. La siguiente tabla ilustra tres escenarios en los que la suma de los límites de tasa del proyecto es menor, igual o mayor que el límite de tasa de la organización. Para cada escenario, la tabla indica si se puede alcanzar el límite de la organización y si el uso de un proyecto puede tener un impacto en otro.

Scenario 1
P1 + P2 + P3 < O
Scenario 2
P1 + P2 + P3 = O
Scenario 3
P1 + P2 + P3 > O

Descripción del escenario

La suma de todos los límites de velocidad del proyecto es inferior al límite de la organización.

La suma de todos los límites de tasa del proyecto es igual a el límite de la organización.

La suma de todos los límites de velocidad del proyecto es superior a al límite de la organización.

¿Se puede alcanzar el límite de la organización?

No, incluso si todos los proyectos alcanzan sus límites de velocidad, el límite de velocidad de la organización no se superará.

Sí, si todos los proyectos alcanzan sus límites de tasa, el límite de la organización también se alcanzará.

是的,由于所有 **proyectos** 的速率限制总和超过了 **organización** 限制,在各个 **proyectos** 达到各自限制前,可能先达到 **organización** 限制。

¿Puede el uso de un Proyecto tener un impacto en otro?

No.

No.

Sí. Si los proyectos consumen en conjunto suficiente uso para alcanzar el límite de la organización antes de que alguno o todos los proyectos alcancen sus límites individuales, los proyectos pueden estar sujetos a un límite de tasa inferior al de sus límites individuales.

Los puntos de conexión de ámbito tienen sus propios límites de frecuencia, separados de los límites de frecuencia que se aplican al punto de conexión sin ámbito. Atlas establece estos límites por ámbito, es decir, por combinación de proveedor de nube y geografía. Los límites de frecuencia para los puntos de conexión de ámbito son los mismos que para los puntos de conexión sin ámbito; sin embargo, debe hacer una solicitud de aumento de los límites de nivel 2 y nivel 3 para los puntos de conexión de ámbito. Por el contrario, Atlas aplica automáticamente actualizaciones para puntos de conexión sin alcance.

Los endpoints con ámbito también requieren un nivel de uso de pago. Para obtener más información, consulte Niveles de uso.

Para obtener más información sobre las geografías y sus endpoints, consulta Geografías para la inferencia de Voyage AI.

Los límites de tasa garantizan una utilización equilibrada y eficiente de los recursos de la API, previniendo un tráfico excesivo que podría tener un impacto en el desempeño y la accesibilidad general del servicio. Específicamente, los límites de velocidad sirven para los siguientes propósitos vitales:

  • Los límites de frecuencia promueven el acceso equitativo a la API para todos los usuarios. Si una persona u organización genera un volumen excesivo de solicitudes, podría potencialmente impedir el rendimiento de la API para los demás. Mediante la limitación de velocidad, garantizamos que un mayor número de usuarios puedan utilizar la API sin experimentar problemas de rendimiento.

  • Los límites de tasa permiten a Voyage AI gestionar eficazmente la carga de trabajo en su infraestructura. Picos súbitos y sustanciales en las solicitudes de API podrían sobrecargar los recursos del servidor y provocar una degradación del rendimiento. Al establecer límites de tasa, Voyage IA puede mantener de manera efectiva una experiencia coherente y fiable para todos los los usuarios.

  • Actúan como salvaguarda contra posibles abusos o usos indebidos de la API. Por ejemplo, los actores malintencionados podrían intentar inundar la API con solicitudes excesivas para sobrecargarla o interrumpir sus servicios. Al establecer límites de velocidad, Voyage IA puede frustrar tales actividades nefastas.

Para evitar y gestionar errores de límite de velocidad, recomendamos las siguientes mejores prácticas.

Si tienes muchos documentos para incorporar, puedes aumentar la cantidad de documentos que incorporas por solicitud y mejorar tu rendimiento enviando paquetes más grandes. Un "lote" es la colección de documentos que estás incorporando en una solicitud, y el "tamaño de lote" es el número de documentos en el lote, es decir, la longitud de la lista de documentos.

Ejemplo

Supongamos que desea vectorizar 512 documentos. Si utilizara un tamaño de agrupar de 1, entonces esto requeriría 512 solicitudes y podría alcanzar su límite de RPM. Sin embargo, si utilizara un tamaño de agrupar de 128, entonces esto requeriría solo 4 solicitudes y no alcanzaría su límite de RPM. Puede controlar el tamaño de agrupar cambiando el número de documentos que proporciona en la solicitud, y el uso de tamaños de agrupar más grandes reducirá su RPM general para un número determinado de documentos.

Debes considerar el tamaño máximo de lote API y los tokens al seleccionar tu tamaño de lote. No se puede superar el tamaño máximo de agrupar de la API. Si tienes documentos más largos, el límite de tokens por solicitud podría obligarte a trabajar con un tamaño de lote más pequeño.

Realiza solicitudes con menor frecuencia. Puedes hacerlo escalonando tus solicitudes, y el enfoque más sencillo es insertar un período de espera entre cada solicitud.

Retrocede una vez que alcances tu límite de tasa (es decir, cuando recibas un error 429). Podrías esperar un tiempo exponencialmente mayor tras recibir un error de límite de tasa antes de intentar nuevamente. Espera a que la solicitud sea exitosa o hasta que se alcance el número máximo de reintentos.

Ejemplo

Si tu tiempo de espera inicial era de un segundo y recibiste tres errores de límite de velocidad consecutivos antes de tener éxito, deberías esperar uno, dos y cuatro segundos después de cada error de límite de velocidad, respectivamente, antes de volver a enviar la solicitud.