Implemente modelos de IA de viagem usando o Google Cloud Model Garde

Modelos disponíveis

Para ver quais modelos você pode implantar, procure "Voyage" no Google Cloud Model Center.

Para saber mais sobre os modelos de IA do Voyage, consulte Visão geral dos modelos.

Preços

Os preços dos modelos Voyage AI by MongoDB no Google Cloud Model Garmin incluem:

• Taxa de uso do modelo: um custo pelo uso do contêiner do modelo Voyage AI, cobrado a uma taxa por hora. A taxa de uso depende do modelo específico e da configuração de hardware escolhido para o sistema. Para obter informações detalhadas sobre preços, consulte a seção de preços na página de listagem do modelo no Google Cloud Marketplace.

• Instância subjacente do Google Cloud em sua região: o custo da instância subjacente do Google Cloud GUI, como Nvidia L,4 A100 ou H)100 que é específico para uma região, é cobrado mensalmente e cobrado por vCPU. Para saber mais, consulte os preços do Google Cloud Compute Engine.

Todas as cobranças de faturamento aparecem como o uso da Vertex AI em sua conta do Google Cloud.

Para visualizar os preços de um modelo específico da Voyage AI:

Quotas

Ao implantar modelos de Voyage AI, você consome recursos de Vertex AI que estão sujeitos a cotas. Você pode visualizar e gerenciar suas cotas na Quotas seção da página IAM do Console do Google Cloud. Para mais informações, consulte Visualizar as cotas do seu projeto. Na mesma página, você pode clicar com o botão direito do mouse em qualquer cota atual, clicar Edit quota em e enviar uma solicitação para aumentar sua cota, se necessário.

Pré-requisitos

Para começar a usar os modelos Voyage AI by MongoDB por meio do Google Cloud Vertex AI, você deve:

• Configure um projeto do Google Cloud e um ambiente de desenvolvimento. Para obter instruções, consulte Configurar seu projeto e ambiente de desenvolvimento.

• Ative a API Vertex AI. Para obter instruções, consulte Configuração.

Configuração de hardware

Cada modelo no Model Garden lista sua configuração de hardware recomendada. Consulte o Google Cloud Model Background para Vertex AI para cada especificação de hardware recomendada do modelo Voyage.

Por exemplo, para o modelo de viagem4, use as seguintes instâncias recomendadas que o Vertex AI Model Garmin sugere para implantação. Essas recomendações podem mudar, e recomendamos que você consulte a página oficial do Google Cloud Model Garmin de um modelo de Voyage AI específico para ver o hardware recomendado.

• As2 instâncias a2-highgpu-1g a2-ultragpu-1gA, como ou, com100 CPU são a opção padrão.

• 3 As a3-highgpu-1g instâncias A, como, com H100 são recomendadas para necessidades de alto desempenho.

Regiões suportadas

O Model Garden lista as regiões suportadas para cada modelo da Voyage AI. Se você precisar de suporte em outra região para qualquer um dos modelos, entre em contato com o suporte do MongoDB .

Melhores Práticas e Limitações

• Tipo de endpoint: Todos os modelos Voyage AI exigem um tipo de endpoint público dedicado. Para mais informações, consulte Escolher um tipo de endpoint.

• Entender input_type: Query versus documento: o input_type parâmetro otimiza incorporações para tarefas de recuperação. Use "query" para queries de pesquisa e "document" para o conteúdo que está sendo pesquisado. Essa otimização melhora a precisão da recuperação. Para saber mais sobre o input_type parâmetro, consulte a Visão geral da API de incorporação e reclassificação.

• Use Diferentes Dimensões de Saída:4 Os modelos Voyage suportam múltiplas dimensões de256 512saída:,, 1024 (padrão) 2048 e. Dimensões menores reduzem os custos de armazenamento e computação, enquanto dimensões maiores podem fornecer melhor precisão. Escolha a dimensão que melhor equilibra seus requisitos de precisão com restrições de recursos.

Localize os modelos de IA da Voyage

Para encontrar modelos Voyage AI by MongoDB no Model Garment:

Implemente um modelo de Voyage na Vertex AI

Para fazer projeções usando um modelo Voyage AI by MongoDB , você deve implementá-lo em um endpoint privado dedicado para inferências online. O sistema associa recursos físicos a um modelo para predições online de baixa latência e alta taxa de transferência. Você pode implementar vários modelos em um endpoint ou o mesmo modelo em vários endpoints.

Ao implementar um modelo, considere as seguintes opções:

• Localização do endpoint

• Contêiner do modelo

• Recursos de computação necessários para executar o modelo

Após implementar um modelo, você não poderá alterar estas configurações. Se você precisar modificar qualquer configuração de implantação, deverá desdistribuir o modelo e implantá-lo novamente com as novas configurações.

Os modelos de IA do Voyage exigem um endpoint público dedicado. Para obter mais informações, consulte Criar um endpoint público na documentação do Google Cloud Vertex AI.

Para implantar um modelo na IA do Google Cloud Vertex usando o console:

Implantar usando código

Se você selecionou View Code na página de detalhes do modelo, poderá implantar um modelo programaticamente usando o Vertex AI SDK. Essa abordagem fornece controle total sobre a configuração da implantação por meio do código.

Para obter mais informações sobre o Google Cloud Vertex AI SDK, consulte a documentação do Vertex AI SDK para Python.

Para implementar um modelo usando código:

from vertexai import model_garden
MODEL_NAME = "mongodb/voyage-4@latest"
model = model_garden.OpenModel(MODEL_NAME)
deploy_options = model.list_deploy_options(concise=True)
print(deploy_options)

# Choose whether to deploy a new model or use an existing endpoint:
deployment_option = "deploy_new"  # ["deploy_new", "use_existing"]
# If using existing endpoint, provide the endpoint ID:
ENDPOINT_ID = ""  # {type:"string"}
if deployment_option == "deploy_new":
    print("Deploying new model...")
    endpoint = model.deploy(
        machine_type="a3-highgpu-1g",
        accelerator_type="NVIDIA_H100_80GB",
        accelerator_count=1,
        accept_eula=True,
        use_dedicated_endpoint=True,
    )
    print(f"Endpoint deployed: {endpoint.display_name}")
    print(f"Endpoint resource name: {endpoint.resource_name}")
else:
    if not ENDPOINT_ID:
        raise ValueError("Please provide an ENDPOINT_ID when using existing endpoint")
    from google.cloud import aiplatform
    print(f"Connecting to existing endpoint: {ENDPOINT_ID}")
    endpoint = aiplatform.Endpoint(
        endpoint_name=f"projects/{PROJECT_ID}/locations/{LOCATION}/endpoints/{ENDPOINT_ID}"
    )
    print(f"Using endpoint: {endpoint.display_name}")
    print(f"Endpoint resource name: {endpoint.resource_name}")

import json
# Multiple texts to embed
texts = [
    "Machine learning enables computers to learn from data.",
    "Natural language processing helps computers understand human language.",
    "Computer vision allows machines to interpret visual information.",
    "Deep learning uses neural networks with multiple layers."
]
# Prepare the batch request and make invoke call
body = {
    "input": texts,
    "output_dimension": 1024,
    "input_type": "document"
}
response = endpoint.invoke(
    request_path="/embeddings",
    body=json.dumps(body).encode("utf-8"),
    headers={"Content-Type": "application/json"}
)
# Extract embeddings
result = response.json()
embeddings = [item["embedding"] for item in result["data"]]
print(f"Number of texts embedded: {len(embeddings)}")
print(f"Embedding dimension: {len(embeddings[0])}")
print(f"\nFirst embedding (first 5 values): {embeddings[0][:5]}")
print(f"Second embedding (first 5 values): {embeddings[1][:5]}")

Cancelar a distribuição de um modelo e excluir o endpoint

Para remover um modelo implantado e seu endpoint:

1. Desdistribua o modelo do endpoint.

2. Opcionalmente, exclua o próprio endpoint.

Para obter instruções detalhadas, consulte Cancelar implantação de um modelo e excluir o endpoint na documentação do Google Cloud Vertex AI.