Implementar modelos de IA de Voyage con Google Cloud Model Garden

Modelos disponibles

Para ver qué modelos puedes implementar, busca "Voyage" en Google Cloud Model Garden.

Para obtener más información sobre los modelos de Voyage AI, consulte Descripción general de los modelos.

Precios

Los precios de los modelos de Voyage AI de MongoDB en Google Cloud Model Garden incluyen:

• Tarifa de uso del modelo: Costo por usar el contenedor de modelos de Voyage AI, facturado por hora. La tarifa de uso depende del modelo específico y de la configuración de hardware elegida para la implementación. Para obtener información detallada sobre precios, consulte la sección de precios en la página de publicación del modelo en Google Cloud Marketplace.

• Instancia subyacente de Google Cloud en tu región: El costo de la instancia subyacente de GPU de Google Cloud (como NVIDIA4 L, A100 o H)100 específica de una región se factura mensualmente y se calcula por vCPU. Para obtener más información, consulta los precios de Google Cloud Compute Engine.

Todos los cargos de facturación aparecen como el uso de Vertex AI en su factura de Google Cloud.

Para ver los precios de un modelo específico de Voyage AI:

Quotas

Al implementar modelos de Voyage AI, se consumen recursos de Vertex AI sujetos a cuotas. Puedes ver y administrar tus cuotas en la Quotas sección de la página IAM de Google Cloud Console. Para obtener más información, consulta "Ver las cuotas de tu proyecto". En la misma página, puedes hacer clic con el botón derecho en cualquier cuota actual, hacer clic en Edit quota y enviar una solicitud para aumentarla si es necesario.

Requisitos previos

Para comenzar a utilizar los modelos de Voyage AI de MongoDB a través de Google Cloud Vertex AI, debes:

• Configura un proyecto de Google Cloud y un entorno de desarrollo. Para obtener instrucciones, consulta Configurar tu proyecto y entorno de desarrollo.

• Habilite la API Vertex AI. Para obtener instrucciones,consulte Configuración.

Configuración de hardware

Cada modelo del Jardín de Modelos incluye su configuración de hardware recomendada. Consulta el Jardín de Modelos de Google Cloud para Vertex AI para conocer las especificaciones de hardware recomendadas para cada modelo de Voyage.

Por ejemplo, para el modelo voyage-4, utilice las siguientes instancias recomendadas que Vertex AI Model Garden sugiere para la implementación. Estas recomendaciones pueden cambiar, por lo que le recomendamos consultar la página oficial de Google Cloud Model Garden para un modelo Voyage AI específico para ver el hardware recomendado.

• A2 instancias, como a2-highgpu-1g o a2-ultragpu-1g, con A100 las GPU son la opción predeterminada.

• Se recomiendan instanciasA,3 a3-highgpu-1gcomo, con GPU H para necesidades de mayor rendimiento.100

Regiones admitidas

El Jardín de Modelos enumera las regiones compatibles con cada modelo de Voyage AI. Si necesita asistencia en otra región para alguno de los modelos, contacte con el soporte de MongoDB.

Mejores prácticas y limitaciones

• Tipo de punto de conexión: Todos los modelos de IA de Voyage requieren un tipo de punto de conexión público dedicado. Para obtener más información,consulte "Elegir un tipo de punto de conexión".

• Comprender input_type: Consulta vs. Documento: El input_type parámetro optimiza las incrustaciones para las tareas de recuperación. Utilice "query" para consultas de búsqueda y "document" para el contenido buscado. Esta optimización mejora la precisión de la recuperación. Para obtener más información sobre el input_type parámetro, consulte la Descripción general de la API de incrustación y reclasificación.

• Usar diferentes dimensiones de salida: Los 4 modelos de viaje admiten varias dimensiones de256 512salida:,, 1024 (predeterminado) 2048 y. Las dimensiones más pequeñas reducen los costos de almacenamiento y computación, mientras que las dimensiones más grandes pueden proporcionar mayor precisión. Elija la dimensión que mejor se adapte a sus requisitos de precisión y a las limitaciones de recursos.

Localiza los modelos de IA de Voyage

Para encontrar modelos de Voyage AI de MongoDB en el Jardín de modelos:

Implementar un modelo de IA de viaje en Vertex AI

Para realizar predicciones con un modelo de Voyage AI de MongoDB, debe implementarlo en un punto de conexión privado dedicado para inferencias en línea. La implementación asocia recursos físicos con un modelo para realizar predicciones en línea de baja latencia y alto rendimiento. Puede implementar varios modelos en un punto de conexión o el mismo modelo en varios.

Al implementar un modelo, considere las siguientes opciones:

• Ubicación del punto final

• Contenedor modelo

• Calcular los recursos necesarios para ejecutar el modelo

Una vez implementado un modelo, no se puede cambiar esta configuración. Si necesita modificar alguna configuración de implementación, debe anular la implementación del modelo y volver a implementarlo con la nueva configuración.

Los modelos de IA de Voyage requieren un punto de conexión público dedicado. Para obtener más información,consulte "Crear un punto de conexión público" en la documentación de Google Cloud Vertex AI.

Para implementar un modelo en Google Cloud Vertex AI usando la consola:

Implementar mediante código

Si seleccionó View Code en la página de detalles del modelo, puede implementar un modelo programáticamente con el SDK de Vertex AI. Este enfoque proporciona control total sobre la configuración de la implementación mediante código.

Para obtener más información sobre el SDK de IA Vertex de Google Cloud, consulte la documentación del SDK de IA Vertex para Python.

Para implementar un modelo usando código:

from vertexai import model_garden
MODEL_NAME = "mongodb/voyage-4@latest"
model = model_garden.OpenModel(MODEL_NAME)
deploy_options = model.list_deploy_options(concise=True)
print(deploy_options)

# Choose whether to deploy a new model or use an existing endpoint:
deployment_option = "deploy_new"  # ["deploy_new", "use_existing"]
# If using existing endpoint, provide the endpoint ID:
ENDPOINT_ID = ""  # {type:"string"}
if deployment_option == "deploy_new":
    print("Deploying new model...")
    endpoint = model.deploy(
        machine_type="a3-highgpu-1g",
        accelerator_type="NVIDIA_H100_80GB",
        accelerator_count=1,
        accept_eula=True,
        use_dedicated_endpoint=True,
    )
    print(f"Endpoint deployed: {endpoint.display_name}")
    print(f"Endpoint resource name: {endpoint.resource_name}")
else:
    if not ENDPOINT_ID:
        raise ValueError("Please provide an ENDPOINT_ID when using existing endpoint")
    from google.cloud import aiplatform
    print(f"Connecting to existing endpoint: {ENDPOINT_ID}")
    endpoint = aiplatform.Endpoint(
        endpoint_name=f"projects/{PROJECT_ID}/locations/{LOCATION}/endpoints/{ENDPOINT_ID}"
    )
    print(f"Using endpoint: {endpoint.display_name}")
    print(f"Endpoint resource name: {endpoint.resource_name}")

import json
# Multiple texts to embed
texts = [
    "Machine learning enables computers to learn from data.",
    "Natural language processing helps computers understand human language.",
    "Computer vision allows machines to interpret visual information.",
    "Deep learning uses neural networks with multiple layers."
]
# Prepare the batch request and make invoke call
body = {
    "input": texts,
    "output_dimension": 1024,
    "input_type": "document"
}
response = endpoint.invoke(
    request_path="/embeddings",
    body=json.dumps(body).encode("utf-8"),
    headers={"Content-Type": "application/json"}
)
# Extract embeddings
result = response.json()
embeddings = [item["embedding"] for item in result["data"]]
print(f"Number of texts embedded: {len(embeddings)}")
print(f"Embedding dimension: {len(embeddings[0])}")
print(f"\nFirst embedding (first 5 values): {embeddings[0][:5]}")
print(f"Second embedding (first 5 values): {embeddings[1][:5]}")

Anular la implementación de un modelo y eliminar el punto final

Para eliminar un modelo implementado y su punto final:

1. Anular la implementación del modelo desde el punto final.

2. Opcionalmente, elimine el punto final en sí.

Para obtener instrucciones detalladas, consulta Anular la implementación de un modelo y eliminar el punto final en la documentación de Google Cloud Vertex AI.