Implementar modelos de Voyage AI con Model Garden en la plataforma Gemini Enterprise Agent

Modelos disponibles

Para ver qué modelos puede implementar, busque "Voyage" en el Model Garden de Gemini Enterprise Agent Platform.

Para obtener más información sobre los modelos de Voyage AI, consulte la descripción general de los modelos de incrustación y reclasificación de Voyage AI.

Precios

El precio de los modelos de Voyage AI by MongoDB en Model Garden en Gemini Enterprise Agent Platform incluye:

• Tarifa de uso del modelo: Un costo por utilizar el contenedor del modelo IA de Voyage, facturado a una tarifa por hora. La tarifa de uso depende del modelo específico y de la configuración de hardware que elijas para la implementación. Para obtener información detallada sobre precios, consulta la sección de precios en la página de listado del modelo en Google Cloud Marketplace.

• Instancia subyacente de Google Cloud en tu región: El costo de la instancia de GPU subyacente de Google Cloud, como NVIDIA L4, A100, o H100, que es específica de una región, se factura mensualmente y se cobra por vCPU. Para aprender más, consulte Precios de Google Cloud Compute Engine.

Todos los cargos de facturación aparecen como el uso de Gemini Enterprise Agent Platform en su factura de Google Cloud Platform.

Para ver el precio de un modelo específico de Voyage IA:

Quotas

Al implementar modelos de Voyage AI, consume recursos de Gemini Enterprise Agent Platform que están sujetos a cuotas. Puede ver y administrar sus cuotas en la Quotas sección de la página de IAM de la consola de Google Cloud. Para obtener más información, consulte Ver las cuotas de su proyecto. En la misma página, puede hacer clic con el botón derecho en cualquier cuota actual, seleccionar Edit quota y enviar una solicitud para aumentarla si es necesario.

Requisitos previos

Para empezar a usar los modelos Voyage AI de MongoDB a través de la plataforma de agentes empresariales Gemini, debes:

• Configura un proyecto de Google Cloud y un entorno de desarrollo. Para obtener instrucciones, consulta Configura tu proyecto y entorno de desarrollo.

• Habilite la API de la plataforma Gemini Enterprise Agent. Para obtener instrucciones, consulte la sección Configuración.

Configuración de hardware

Cada modelo de Model Garden enumera su configuración de hardware recomendada. Consulte Model Garden en Gemini Enterprise Agent Platform para conocer las especificaciones de hardware recomendadas de cada modelo de Voyage.

Por ejemplo, para el modelo voyage-4, utiliza las siguientes instancias recomendadas que Model Garden en la plataforma de agentes empresariales de Gemini sugiere para la implementación. Estas recomendaciones pueden cambiar y te recomendamos que consultes la página oficial de Model Garden en la plataforma de agentes empresariales de Gemini para un modelo de Voyage AI en particular para ver su hardware recomendado.

• Las instancias A2 , tales como a2-highgpu-1g o a2-ultragpu-1g, con GPUs A100 son la opción por defecto.

• Se recomienda A3 instancias, como a3-highgpu-1g, con GPUs H100 para necesidades de mayor rendimiento.

Regiones admitidas

Model Garden enumera las regiones compatibles para cada modelo de Voyage IA. Si necesitas soporte en otra región para cualquiera de los modelos, contacta soporte de MongoDB.

Mejores prácticas y limitaciones

• Tipo de endpoint: Todos los modelos de Voyage IA requieren un tipo de endpoint público dedicado. Para obtener más información, consulta Elige un tipo de endpoint.

• Comprenda input_type: query vs. Documento: El parámetro input_type optimiza las incrustaciones para tareas de recuperación. Utiliza "query" para consultas de búsqueda y "document" para el contenido que se está buscando. Esta optimización mejora la precisión de la recuperación. Para aprender más sobre el parámetro input_type, consulta la Visión general de la API de incrustación y renacionalización.

• Usar diferentes dimensiones de salida: los modelos Voyage 4 admiten múltiples dimensiones de salida: 256, 512, 1024 (por defecto) y 2048. Las dimensiones más pequeñas reducen los costos de almacenamiento y computación, mientras que las dimensiones más grandes pueden proporcionar una mejor precisión. Elige la dimensión que mejor equilibre tus requisitos de precisión con las limitaciones de recursos.

Ubique los Modelos Voyage IA

Para encontrar los modelos de Voyage AI by MongoDB en el Model Garden:

Implementar un modelo de IA de Voyage en la plataforma de agentes de Gemini Enterprise

Para hacer predicciones utilizando un modelo de Voyage IA por MongoDB, debes implementarlo en un punto final privado y dedicado para inferencias en linea. La implementación asocia recursos físicos con un modelo para predicciones en línea de baja latencia y alto rendimiento. Puedes implementar varios modelos en un único endpoint o el mismo modelo en varios endpoints.

Cuando implementes un modelo, considera las siguientes opciones:

• Ubicación del endpoint

• Contenedor de modelos

• Recursos de computación requeridos para ejecutar el modelo

Una vez que implementes un modelo, no puedes cambiar estas configuraciones. Si necesitas modificar cualquier configuración de implementación, debes dejar de utilizar el modelo y volver a implementarlo con la nueva configuración.

Los modelos de Voyage AI requieren un punto de conexión público dedicado. Para obtener más información, consulte la sección «Crear un punto de conexión público» en la documentación de Gemini Enterprise Agent Platform.

Para implementar un modelo en Gemini Enterprise Agent Platform usando la consola:

Implementar usando código

Si seleccionaste View Code en la página de detalles del modelo, puedes implementar un modelo mediante programación usando el SDK de Vertex AI. Este enfoque proporciona control total sobre la configuración de implementación a través del código.

Para obtener más información sobre el SDK de IA Vertex de Google Cloud, consulta la documentación del SDK de IA Vertex para Python.

Para implementar un modelo usando código:

from vertexai import model_garden
MODEL_NAME = "mongodb/voyage-4@latest"
model = model_garden.OpenModel(MODEL_NAME)
deploy_options = model.list_deploy_options(concise=True)
print(deploy_options)

# Choose whether to deploy a new model or use an existing endpoint:
deployment_option = "deploy_new"  # ["deploy_new", "use_existing"]
# If using existing endpoint, provide the endpoint ID:
ENDPOINT_ID = ""  # {type:"string"}
if deployment_option == "deploy_new":
    print("Deploying new model...")
    endpoint = model.deploy(
        machine_type="a3-highgpu-1g",
        accelerator_type="NVIDIA_H100_80GB",
        accelerator_count=1,
        accept_eula=True,
        use_dedicated_endpoint=True,
    )
    print(f"Endpoint deployed: {endpoint.display_name}")
    print(f"Endpoint resource name: {endpoint.resource_name}")
else:
    if not ENDPOINT_ID:
        raise ValueError("Please provide an ENDPOINT_ID when using existing endpoint")
    from google.cloud import aiplatform
    print(f"Connecting to existing endpoint: {ENDPOINT_ID}")
    endpoint = aiplatform.Endpoint(
        endpoint_name=f"projects/{PROJECT_ID}/locations/{LOCATION}/endpoints/{ENDPOINT_ID}"
    )
    print(f"Using endpoint: {endpoint.display_name}")
    print(f"Endpoint resource name: {endpoint.resource_name}")

import json
# Multiple texts to embed
texts = [
    "Machine learning enables computers to learn from data.",
    "Natural language processing helps computers understand human language.",
    "Computer vision allows machines to interpret visual information.",
    "Deep learning uses neural networks with multiple layers."
]
# Prepare the batch request and make invoke call
body = {
    "input": texts,
    "output_dimension": 1024,
    "input_type": "document"
}
response = endpoint.invoke(
    request_path="/embeddings",
    body=json.dumps(body).encode("utf-8"),
    headers={"Content-Type": "application/json"}
)
# Extract embeddings
result = response.json()
embeddings = [item["embedding"] for item in result["data"]]
print(f"Number of texts embedded: {len(embeddings)}")
print(f"Embedding dimension: {len(embeddings[0])}")
print(f"\nFirst embedding (first 5 values): {embeddings[0][:5]}")
print(f"Second embedding (first 5 values): {embeddings[1][:5]}")

Despliega un modelo y borra el endpoint

Para remover un modelo implementado y su endpoint:

1. Desinstalar el modelo del punto final.

2. Opcionalmente, borra el propio endpoint.

Para obtener instrucciones detalladas, consulte la sección "Desinstalar un modelo y eliminar el punto final" en la documentación de Gemini Enterprise Agent Platform.