Implemente los modelos de IA de Voyage utilizando Model Garden de Google Cloud

Modelos disponibles

Para ver qué modelos puedes implementar, busca "Voyage" en el Google Cloud Model Garden.

Para obtener más información sobre los modelos de Voyage AI, consulte Descripción general de los modelos.

Precios

El precio para los modelos de Voyage IA by MongoDB en el Google Cloud Model Garden incluye:

• Tarifa de uso del modelo: Un costo por utilizar el contenedor del modelo IA de Voyage, facturado a una tarifa por hora. La tarifa de uso depende del modelo específico y de la configuración de hardware que elijas para la implementación. Para obtener información detallada sobre precios, consulta la sección de precios en la página de listado del modelo en Google Cloud Marketplace.

• Instancia subyacente de Google Cloud en tu región: El costo de la instancia de GPU subyacente de Google Cloud, como NVIDIA L4, A100, o H100, que es específica de una región, se factura mensualmente y se cobra por vCPU. Para aprender más, consulte Precios de Google Cloud Compute Engine.

Todos los cargos de facturación aparecen como el uso de Vertex IA en su factura de Google Cloud.

Para ver el precio de un modelo específico de Voyage IA:

Quotas

Cuando implementas modelos de Voyage IA, consumes recursos de Vertex AI sujetos a cuotas. Puedes ver y gestionar tus cuotas en la sección Quotas de la página IAM de Google Cloud Console. Para obtener más información, consulta Revisa las cuotas para tu proyecto. En la misma página, puedes hacer clic derecho en cualquier cuota actual, hacer clic en Edit quota y enviar una solicitud para aumentar tu cuota si es necesario.

Requisitos previos

Para empezar a usar los modelos Voyage IA de MongoDB a través de Google Cloud Vertex AI, debes:

• Configura un proyecto de Google Cloud y un entorno de desarrollo. Para obtener instrucciones, consulta Configura tu proyecto y entorno de desarrollo.

• Activa la API de Vertex AI. Para obtener instrucciones, consulta configurar.

Configuración de hardware

Cada modelo del Model Garden enumera su configuración de hardware recomendada. Consulta el Google Cloud Model Garden para Vertex IA para conocer las especificaciones de hardware recomendadas para cada modelo Voyage.

Por ejemplo, para el modelo voyage-4, use las siguientes instancias recomendadas que el Vertex AI Model Garden sugiere para la implementación. Estas recomendaciones pueden cambiar y te recomendamos que consultes la página oficial de Google Cloud Model Garden para un modelo particular de Voyage IA a fin de ver el hardware recomendado.

• Instancias A2 , como a2-highgpu-1g o a2-ultragpu-1g, con A100, las GPU son la opción por defecto.

• Se recomienda A3 instancias, como a3-highgpu-1g, con GPUs H100 para necesidades de mayor rendimiento.

Regiones admitidas

Model Garden enumera las regiones compatibles para cada modelo de Voyage IA. Si necesitas soporte en otra región para cualquiera de los modelos, contacta soporte de MongoDB.

Mejores prácticas y limitaciones

• Tipo de endpoint: Todos los modelos de Voyage IA requieren un tipo de endpoint público dedicado. Para obtener más información, consulta Elige un tipo de endpoint.

• Comprenda input_type: query vs. Documento: El parámetro input_type optimiza las incrustaciones para tareas de recuperación. Utiliza "query" para consultas de búsqueda y "document" para el contenido que se está buscando. Esta optimización mejora la precisión de la recuperación. Para aprender más sobre el parámetro input_type, consulta la Visión general de la API de incrustación y renacionalización.

• Usar diferentes dimensiones de salida: los modelos Voyage 4 admiten múltiples dimensiones de salida: 256, 512, 1024 (por defecto) y 2048. Las dimensiones más pequeñas reducen los costos de almacenamiento y computación, mientras que las dimensiones más grandes pueden proporcionar una mejor precisión. Elige la dimensión que mejor equilibre tus requisitos de precisión con las limitaciones de recursos.

Ubique los Modelos Voyage IA

Para encontrar los modelos de Voyage AI by MongoDB en el Model Garden:

Implementa un modelo de IA de Voyage en Vertex AI

Para hacer predicciones utilizando un modelo de Voyage IA por MongoDB, debes implementarlo en un punto final privado y dedicado para inferencias en linea. La implementación asocia recursos físicos con un modelo para predicciones en línea de baja latencia y alto rendimiento. Puedes implementar varios modelos en un único endpoint o el mismo modelo en varios endpoints.

Cuando implementes un modelo, considera las siguientes opciones:

• Ubicación del endpoint

• Contenedor de modelos

• Recursos de computación requeridos para ejecutar el modelo

Una vez que implementes un modelo, no puedes cambiar estas configuraciones. Si necesitas modificar cualquier configuración de implementación, debes dejar de utilizar el modelo y volver a implementarlo con la nueva configuración.

Los modelos de IA Voyage requieren un endpoint público dedicado. Para obtener más información, consulte Cree un endpoint público en la documentación de Google Cloud Vertex AI.

Para implementar un modelo en Google Cloud Vertex AI usando la consola:

Implementar usando código

Si seleccionaste View Code en la página de detalles del modelo, puedes implementar un modelo mediante programación usando el SDK de Vertex AI. Este enfoque proporciona control total sobre la configuración de implementación a través del código.

Para obtener más información sobre el SDK de IA Vertex de Google Cloud, consulta la documentación del SDK de IA Vertex para Python.

Para implementar un modelo usando código:

from vertexai import model_garden
MODEL_NAME = "mongodb/voyage-4@latest"
model = model_garden.OpenModel(MODEL_NAME)
deploy_options = model.list_deploy_options(concise=True)
print(deploy_options)

# Choose whether to deploy a new model or use an existing endpoint:
deployment_option = "deploy_new"  # ["deploy_new", "use_existing"]
# If using existing endpoint, provide the endpoint ID:
ENDPOINT_ID = ""  # {type:"string"}
if deployment_option == "deploy_new":
    print("Deploying new model...")
    endpoint = model.deploy(
        machine_type="a3-highgpu-1g",
        accelerator_type="NVIDIA_H100_80GB",
        accelerator_count=1,
        accept_eula=True,
        use_dedicated_endpoint=True,
    )
    print(f"Endpoint deployed: {endpoint.display_name}")
    print(f"Endpoint resource name: {endpoint.resource_name}")
else:
    if not ENDPOINT_ID:
        raise ValueError("Please provide an ENDPOINT_ID when using existing endpoint")
    from google.cloud import aiplatform
    print(f"Connecting to existing endpoint: {ENDPOINT_ID}")
    endpoint = aiplatform.Endpoint(
        endpoint_name=f"projects/{PROJECT_ID}/locations/{LOCATION}/endpoints/{ENDPOINT_ID}"
    )
    print(f"Using endpoint: {endpoint.display_name}")
    print(f"Endpoint resource name: {endpoint.resource_name}")

import json
# Multiple texts to embed
texts = [
    "Machine learning enables computers to learn from data.",
    "Natural language processing helps computers understand human language.",
    "Computer vision allows machines to interpret visual information.",
    "Deep learning uses neural networks with multiple layers."
]
# Prepare the batch request and make invoke call
body = {
    "input": texts,
    "output_dimension": 1024,
    "input_type": "document"
}
response = endpoint.invoke(
    request_path="/embeddings",
    body=json.dumps(body).encode("utf-8"),
    headers={"Content-Type": "application/json"}
)
# Extract embeddings
result = response.json()
embeddings = [item["embedding"] for item in result["data"]]
print(f"Number of texts embedded: {len(embeddings)}")
print(f"Embedding dimension: {len(embeddings[0])}")
print(f"\nFirst embedding (first 5 values): {embeddings[0][:5]}")
print(f"Second embedding (first 5 values): {embeddings[1][:5]}")

Despliega un modelo y borra el endpoint

Para remover un modelo implementado y su endpoint:

1. Desinstalar el modelo del punto final.

2. Opcionalmente, borra el propio endpoint.

Para obtener instrucciones detalladas, consulta Anular la implementación de un modelo y borrar el extremo en la documentación de Google Cloud Vertex AI.