Você pode usar aplicativos gerenciados pelo Azure para implantar modelos de IA do Voyage como pontos de extremidade da API de inferência em tempo real em uma conta do Azure e uma rede virtual (VNet) do cliente. Os aplicativos gerenciados pelo Azure oferecem os seguintes benefícios principais:
Fluxo de dados e controle de acesso: os dados nunca saem da sua rede virtual, abordando os riscos de privacidade de dados associados ao serviço de terceiros ou de vários inquilinos.
Reliability and compliance backed by Azure: Azure serve como seu único subprocessador, então você herda todas as garantias de confiabilidade e compliance do Azure.
Faturamento e pagamento por meio do Azure: ao usar suas informações de cobrança e créditos existentes do Azure para comprar modelos de IA do Voyage, você não precisa gerenciar um sistema separado de pagamento e cobrança de terceiros.
Modelos disponíveis
Para ver quais modelos você pode implantar, procure por "Voyage IA by MongoDB" no Azure Marketplace.
Para aprender mais sobre os modelos de IA do Voyage, consulte Visão geral dos modelos.
Preços
Os aplicativos gerenciados pelo Azure usando modelos de IA Voyage são cobrados por hora. O custo total por hora é a soma do preço da máquina virtual (VM) (US$5 por hora) e o preço da instância subjacente em sua região. Não há custo de gerenciamento para esse aplicativo gerenciado do Azure, e é por isso que o preço mensal listado do aplicativo gerenciado do Azure é de US$0.
Pré-requisitos
Para implementar um aplicativo gerenciado do Voyage Azure, você deve ter o seguinte:
Uma rede virtual existente para implantar um aplicativo gerenciado do Voyage Azure. Para obter instruções, consulte a seção Criar uma rede virtual.
Cota de vCPU de GPU suficiente para a família de instâncias exigida pelo aplicativo gerenciado do Voyage Azure escolhido. Para aprender como verificar sua cota ou solicitar uma solicitação de aumento de cota, consulte a seção Cota.
Se você atender a todos os pré-requisitos, pule para a seção Implantar um ponto de extremidade da API do Voyage em Rede Virtual.
Quota
Esta seção inclui orientações sobre como verificar sua cota e solicitar um aumento, se necessário. Se você tiver cota suficiente, pule esta seção.
Check Quota
Vá para Assinaturas em seu portal do Azure.
Pesquisar por cota.
Procure a família de instâncias de CPU exigida pelo aplicativo gerenciado do Voyage Azure escolhido na barra de pesquisa. Por exemplo, Standard_NC40ads_H100_v5 ou Standard_NC24ads_A100_v4. Filtre a Região para a região desejada; no exemplo abaixo, filtramos a região para "West US 2."
Verify quota.
Verifique se você tem cota de vCPU para o número de aplicativos gerenciados pelo Voyage Azure que deseja implantar. Se você não tiver cota suficiente, continue para a próxima seção (Solicitação de aumento de cota) para solicitar mais cota.
Solicitar aumento de cota
Na página Uso + cotas da assinatura desejada, você pode solicitar o aumento da cota:
Criar uma rede virtual
Se você já tiver uma rede virtual existente na qual deseja implantar seu aplicativo gerenciado do Voyage Azure, ignore esta seção.
Preencher a aba Noções básicas.
Preencha os campos na aba Noções básicas.
Campo | Valor |
|---|---|
inscrição | Selecione sua assinatura. |
Grupo de recursos | Selecione um grupo de recursos existente ou crie um novo grupo de recursos. |
Nome da rede virtual | Forneça um nome para sua rede virtual. |
Região | Selecione a região desejada. Esta região deve ter a cota de recursos necessária. |
Configurar configurações avançadas.
Existem várias configurações avançadas, como segurança, endereços IP e tags. Se você tiver requisitos de configuração avançados, insira-os nas abas apropriadas. A Voyage não requer nenhuma configuração avançada para implantar nosso aplicativo. Se você não precisar de nenhuma configuração avançada ou não souber, clique em Revisar + criar para revisar e criar diretamente seu aplicativo.
Implante um ponto de extremidade da API do Voyage na rede virtual
Nesta seção, você implanta um aplicativo gerenciado do Voyage Azure em sua rede virtual.
Selecione o aplicativo.
Selecione o aplicativo gerenciado do Voyage Azure que você gostaria de assinar no Azure Marketplace.
Preencher a aba Noções básicas.
Preencha os campos na aba Noções básicas. Clique em Avançar para mover para Configurações de rede.
Campo | Valor |
|---|---|
inscrição | Selecione sua assinatura. |
Grupo de recursos | Selecione o grupo de recursos que contém a rede virtual desejada. |
Região | Selecione a região desejada. Esta região deve ter a cota de recursos necessária. |
Nome do aplicativo | Forneça um nome para seu aplicativo. |
Grupo de recursos gerenciados | Forneça um nome para seu grupo de recursos gerenciados. |
Preencha a aba Configurações de rede .
Preencha os campos na aba Configurações de rede. Depois de concluir, clique em Avançar.
Campo | Valor |
|---|---|
Selecione uma rede virtual existente (não crie uma nova vnet) | Selecione a rede virtual existente desejada. O ponto de extremidade da API do Voyage será implantado nessa rede virtual. |
Selecione ou crie uma sub-rede que permita o tráfego HTTP | Selecione a sub-rede desejada. Selecione "padrão" se você não tiver sub-redes personalizadas ou avançadas dentro de sua rede virtual. O ponto de extremidade da API Voyage implantado terá um endereço IP privado dentro desta sub-rede. |
Obtenha um endereço IP privado.
Na página de recursos do aplicativo, obtenha o IP privado do ponto de extremidade clicando em Parâmetros e saídas na seção Configurações. Anote o IP privado (saída "privateIPAddress"); você precisará desse endereço IP para invocar os pontos de extremidade do aplicativo.
Se precisar de ajuda para implantar um ponto de extremidade da API do Voyage a partir do Azure Marketplace, entre em contato com o suporte do MongoDB.
Acessando os pontos de extremidade da API do Voyage
Depois de implantados, os pontos de extremidade da API do Voyage podem ser acessados por meio de solicitações HTTP por qualquer serviço dentro da mesma rede virtual.
Criar Máquina Virtual Bastion
Para demonstrar como acessar os pontos de extremidade da API Voyage, criaremos uma máquina virtual de bastion dentro da mesma rede virtual. Se quiser usar ou tiver outros máquinas/servidores existentes na rede para query os pontos de extremidade do modelo, você pode pular esta seção e pular para a seção Invoke Voyage API Endpoint.
Este procedimento orienta você por uma configuração de máquina virtual de baixo custo apenas para fins de demonstração. Se você é um usuário avançado, pode fazer configurações personalizadas.
Noções básicas
Preencha os campos na aba Noções básicas. Depois de concluído, clique em Avançar.
Campo | Valor |
|---|---|
inscrição | Selecione sua assinatura. |
Grupo de recursos | Selecione o grupo de recursos que contém o ponto de extremidade da API Voyage. |
Nome da máquina virtual | Forneça um nome para sua máquina virtual. |
Região | Selecione a região do ponto de extremidade da API do Voyage. |
Opções de disponibilidade | Selecione "Nenhuma redundância de infraestrutura necessária" |
Tipo de segurança | Selecione "Padrão". |
Imagem | Selecione "Servidor Ubuntu 24.04 LTS - x64 Ger2". |
Arquitetura de VM | Selecione "x64". |
Execute com desconto do Azure Ponto | Deixe a caixa desmarcada. |
Tamanho | Selecione "Standard_B1s - 1 vspu, 1GiB memory". |
Habilitar hibernação | Deixe a caixa desmarcada. |
Tipo de autenticação | Selecione "Chave pública SSH". |
Nome de usuário | Insira "voyage". |
Fonte da chave pública SSH | Selecione "Gerar novo par de chaves". |
Tipo de chave SSH | Selecione "Formato SSH RSA". |
Nome do par de chaves | Insira "vm-voyage_key". |
Portas de entrada públicas | Selecione "Permitir portas selecionadas". |
Selecionar portas de entrada | Selecione "SSH (22)". |
Discos
Preencha os campos na aba Discos. Depois de concluir, clique em Avançar para mudar para Rede.
Campo | Valor |
|---|---|
Criptografia no host | Deixe a caixa desmarcada. |
OS disk size | Selecione "Padrão de imagem (30 GiB)". |
OS disk type | Selecione "HDD padrão (armazenamento localmente redundante)". |
Excluir com VM | Marque a caixa. |
Gerenciamento de chaves | Selecione "Chave gerenciada pela plataforma". |
Habilitar compatibilidade com ultradisco | Deixe a caixa desmarcada. |
Networking
Preencha os campos na aba Rede. Depois de concluído, clique em Revisar + criar.
Campo | Valor |
|---|---|
Rede virtual | IMPORTANTE. Selecione a rede virtual na qual o ponto de extremidade da API Voyage está implantado. |
Sub-rede | IMPORTANTE. Selecione a sub-rede dentro da rede virtual na qual seu ponto de extremidade da API Voyage está implantado. |
IP público | IMPORTANTE. Crie um novo IP público. Se você não criar isso, não poderá acessar sua máquina virtual de fora da rede virtual. |
Grupo de segurança de rede NIC | Selecione "Básico". |
Portas de entrada públicas | Selecione "Permitir portas selecionadas". |
Selecionar portas de entrada | Selecione "SSH (22)". |
Excluir IP público e NIC quando a VM for excluída | Deixe a caixa desmarcada. |
Habilitar rede acelerada | Deixe a caixa desmarcada. |
Opções de balanceamento de carga | Selecione "Nenhum". |
Revise e crie
Verificar criação.
Verifique a criação da máquina virtual bastion. À medida que ele é criado, você verá o status "A implantação está em andamento". Você verá a mudança de status para "Sua implantação está concluída" quando sua máquina virtual bastion tiver sido criada com êxito. Clique em Go para recurso para obter o endereço IP público da máquina virtual bastion.
Invocar ponto de extremidade API Voyage
Verifique se a API está acessível.
Verifique se a API Voyage está acessível com o seguinte ponto de extremidade:
curl -X GET http://10.0.0.4/info
{"model":"voyage-4","model_loaded":true,"tokenizer_initialized":true,"loading_status":"completed","gpu_info":{"count":1,"memory_allocated_mb":XXX,"memory_reserved_mb": XXX}}
Faça uma solicitação.
Você pode fazer uma solicitação à API Voyage com o seguinte ponto de extremidade: http://{voyage-app-vnet-private-ip}/embeddings.
curl -X GET "http://10.0.0.4/embeddings" \ -H "Content-Type: application/json" \ -d '{ "input": ["Best-in-class embedding models and rerankers"], "input_type": "query" }'
{"data":[{"object":"embedding","embedding":["-0.031104945",...,"-0.037366055"],"index":0}],"object":"list","model":"voyage-4-large","usage":{"total_tokens":13}}
Para todos os parâmetros do ponto de extremidade, consulte a referência da API.
Excluir um aplicativo de API Voyage
Para excluir seu ponto de extremidade da API Voyage, acesse seu aplicativo e clique no botão Excluir na seção Visão geral. Na caixa de diálogo exibida, clique em Sim para confirmar a exclusão. Isso também exclui o grupo de recursos gerenciados associado.
Excluir máquina virtual bastion
Se você tiver provisionado uma máquina virtual bastion, exclua a máquina virtual para evitar custos incorridos e cobranças inesperadas.
Confirmar exclusão.
No painel de exclusão, certifique-se de que todos os recursos da máquina virtual sejam excluídos marcando todas as caixas de seleção mostradas na captura de tela abaixo: Aplicar exclusão forçada, Disco do sistema operacional, Interfaces de rede, Endereços IP públicos. Marque a caixa de seleção de confirmação: "Li e entenda que esta máquina virtual, bem como quaisquer recursos associados selecionados listados acima, serão excluídos." Por fim, clique em Excluir.