É possível usar aplicativos gerenciados pelo Azure para implantar modelos de IA do Voyage como pontos de extremidade da API de inferência em tempo real em uma conta do Azure e uma rede virtual (VNet) do cliente . Os aplicativos gerenciados pelo Azure oferecem os seguintes benefícios principais:
Fluxo de dados e controle de acesso: os dados nunca saem da sua rede virtual, abordando os riscos de privacidade de dados associados ao serviço de terceiros ou de vários inquilinos.
Confiabilidade e conformidade apoiadas pelo Azure: o Azure atua como seu único subprocessador, portanto, você herda todas as garantias de confiabilidade e conformidade do Azure.
Faturamento e pagamento por meio do Azure: ao usar suas informações de cobrança e créditos existentes do Azure para comprar modelos de IA do Voyage, você não precisa gerenciar um sistema separado de pagamento e cobrança de terceiros.
Modelos disponíveis
Para ver quais modelos você pode implantar, procure por "Voyage AI by MongoDB" no Azure Marketplace.
Para saber mais sobre os modelos de IA do Voyage, consulte Visão geral dos modelos.
Preços
Os aplicativos gerenciados pelo Azure usando modelos de IA Voyage são cobrados por hora. O custo total por hora é a soma do preço da máquina virtual (VM) (US$5 por hora) e o preço da instância subjacente em sua região. Não há custo de gerenciamento para esse aplicação gerenciado do Azure, e é por isso que o preço mensal listado do aplicação gerenciado do Azure é de US$0.
Pré-requisitos
Para implementar um aplicação gerenciado do Voyage Azure, você deve ter o seguinte:
Uma assinatura existente do Azure.
Uma rede virtual existente para implantar um aplicação gerenciado do Voyage Azure . Para obter instruções, consulte a seção Criar uma rede virtual.
Cota de vCPU de CPU suficiente para a família de instâncias exigida pelo aplicação gerenciado do Voyage Azure escolhido. Para saber como verificar sua cota ou solicitar um aumento de cota, consulte a seção Cota.
Se você atender a todos os pré-requisitos, pule para a seção Implantar um endpoint da API do Voyage na seção de rede virtual.
Quota
Esta seção inclui orientações sobre como verificar sua cota e solicitar um aumento, se necessário. Se você tiver cota suficiente, pule esta seção.
Check Quota
Acesse Assinaturas em seu portal do Azure.
Pesquise por cota.
Procure a família de instâncias de CPU exigida pelo aplicação gerenciado do Voyage Azure escolhido na barra de pesquisa. Por exemplo, Standard_NC40ads_H100_v5 ou.Standard_NC24ads_A100_v4 Filtre a Região para a região desejada; no exemplo abaixo, filtramos a região para "West 2 US."
Verify quota.
Verifique se você tem cota de vCPU para o número de aplicativos gerenciados pelo Voyage Azure que deseja implantar. Se você não tiver cota suficiente, continue para a próxima seção (Solicitar aumento de cota ) para solicitar mais cota.
Solicitar aumento de cota
Na página Uso + cotas da assinatura desejada, você pode solicitar o aumento da cota:
Criar uma rede virtual
Se você já tiver uma rede virtual existente na qual deseja implantar seu aplicação gerenciado do Voyage Azure, ignore esta seção.
Preencher a aba Noções básicas.
Preencha os campos na aba Noções básicas.
Campo | Valor |
|---|---|
inscrição | Selecione sua assinatura. |
Grupo de recursos | Selecione um grupo de recursos existente ou crie um novo grupo de recursos. |
Nome da rede virtual | Forneça um nome para sua rede virtual. |
Região | Selecione a região desejada. Esta região deve ter a cota de recursos necessária. |
Configurar configurações avançadas.
Existem várias configurações avançadas, como segurança, endereços IP e tags. Se você tiver requisitos de configuração avançados, insira-os nas abas apropriadas. A Voyage não requer nenhuma configuração avançada para implantar nosso aplicação. Se você não precisar de nenhuma configuração avançada ou não souber, clique em Revisar + criar para revisar e criar diretamente seu aplicação.
Implemente um endpoint da API do Voyage na rede virtual
Nesta seção, você implementa um aplicação gerenciado do Voyage Azure em sua rede virtual.
Selecione o aplicação.
Selecione o aplicação gerenciado do Voyage Azure que você gostaria de assinar no Azure Marketplace.
Preencher a aba Noções básicas.
Preencha os campos na aba Noções básicas. Clique em Avançar para mover para Configurações de rede.
Campo | Valor |
|---|---|
inscrição | Selecione sua assinatura. |
Grupo de recursos | Selecione o grupo de recursos que contém a rede virtual desejada. |
Região | Selecione a região desejada. Esta região deve ter a cota de recursos necessária. |
Nome do aplicativo | Forneça um nome para seu aplicação. |
Grupo de recursos gerenciados | Forneça um nome para seu grupo de recursos gerenciados. |
Preencha a aba Configurações de rede .
Preencha os campos na aba Configurações de rede. Depois de concluído, clique em Avançar.
Campo | Valor |
|---|---|
Selecione uma rede virtual existente (não crie uma nova vnet) | Selecione a rede virtual existente desejada. O endpoint da API do Voyage será implantado nessa rede virtual. |
Selecione ou crie uma sub-rede que permita o tráfego HTTP | Selecione a sub-rede desejada. Selecione "padrão" se você não tiver sub-redes personalizadas ou avançadas dentro de sua rede virtual. O endpoint da API Voyage implantado terá um endereço IP privado dentro desta sub-rede. |
Se precisar de ajuda para implementar um ponto de extremidade da API do Voyage a partir do Azure Marketplace, entre em contato com o suporte do MongoDB .
Acessando os endpoints da API do Voyage
Depois de implementados, os endpoints da API do Voyage podem ser acessados por meio de solicitações HTTP por qualquer serviço dentro da mesma rede virtual.
Criar máquina virtual bastion
Para demonstrar como acessar os endpoints da API Voyage, criaremos uma máquina virtual de bastion dentro da mesma rede virtual. Se quiser usar ou ter outras máquinas/servidores existentes na rede para consultar os endpoints do modelo, você pode pular esta seção e pular para a seção Invoke Voyage API Endpoint .
Este procedimento orienta você por uma configuração de máquina virtual de baixo custo apenas para fins de demonstração. Se você é um usuário avançado, pode fazer configurações personalizadas.
Básico
Preencha os campos na aba Noções básicas. Depois de concluído, clique em Avançar.
Campo | Valor |
|---|---|
inscrição | Selecione sua assinatura. |
Grupo de recursos | Selecione o grupo de recursos que contém o endpoint da API Voyage. |
Nome da máquina virtual | Forneça um nome para sua máquina virtual. |
Região | Selecione a região do endpoint da API do Voyage. |
Opções de disponibilidade | Selecione "Nenhuma redundância de infraestrutura necessária" |
Tipo de segurança | Selecione "Padrão". |
Imagem | Selecione "Servidor Ubuntu 24.04 LTS - x64 Ger2". |
Arquitetura de VM | Selecione "x64". |
Corra com desconto do Azure Ponto | Deixe a caixa desmarcada. |
Tamanho | Selecione "Standard_B1s - 1 vspu, 1GiB memory". |
Habilitar hibernação | Deixe a caixa desmarcada. |
Tipo de autenticação | Selecione "Chave pública SSH". |
Nome de usuário | Insira "voyage". |
Fonte da chave pública SSH | Selecione "Gerar novo par de chaves". |
Tipo de chave SSH | Selecione "Formato SSH RSA". |
Nome do par de chaves | Insira "vm-voyage_key". |
Portas de entrada públicas | Selecione "Permitir portas selecionadas". |
Selecionar portas de entrada | Selecione "SSH (22)". |
Discos
Preencha os campos na aba Discos. Depois de concluir, clique em Avançar para mudar para Rede.
Campo | Valor |
|---|---|
Criptografia no host | Deixe a caixa desmarcada. |
OS disk size | Selecione "Padrão de imagem (30 GiB)". |
OS disk type | Selecione "HDD padrão (armazenamento localmente redundante)". |
Excluir com VM | Marque a caixa. |
Gerenciamento de chaves | Selecione "Chave gerenciada pela plataforma". |
Habilitar compatibilidade com ultradisco | Deixe a caixa desmarcada. |
Networking
Preencha os campos na aba Rede. Depois de concluído, clique em Revisar + criar.
Campo | Valor |
|---|---|
Rede virtual | IMPORTANTE. Selecione a rede virtual na qual o endpoint da API Voyage está implantado. |
Sub-rede | IMPORTANTE. Selecione a sub-rede dentro da rede virtual na qual seu endpoint da API Voyage está implantado. |
IP público | IMPORTANTE. Crie um novo IP público. Se você não criar isso, não poderá acessar sua máquina virtual de fora da rede virtual. |
Grupo de segurança de rede NIC | Selecione "Básico". |
Portas de entrada públicas | Selecione "Permitir portas selecionadas". |
Selecionar portas de entrada | Selecione "SSH (22)". |
Excluir IP público e NIC quando a VM for excluída | Deixe a caixa desmarcada. |
Habilitar rede acelerada | Deixe a caixa desmarcada. |
Opções de balanceamento de carga | Selecione "Nenhum". |
Revise e crie
Verificar criação.
Verifique a criação da máquina virtual bastion. À medida que ele é criado, você verá o status "A implantação está em andamento". Você verá a mudança de status para "Sua implantação está concluída" quando sua máquina virtual bastion tiver sido criada com êxito. Clique em Ir para recurso para obter o endereço IP público da máquina virtual bastion.
Invocar endpoint API Voyage
Verifique se a API está acessível.
Verifique se a API Voyage está acessível com o seguinte endpoint:
curl -X GET http://10.0.0.4/info
{"model":"voyage-4","model_loaded":true,"tokenizer_initialized":true,"loading_status":"completed","gpu_info":{"count":1,"memory_allocated_mb":XXX,"memory_reserved_mb": XXX}}
Faça uma solicitação.
Você pode fazer uma solicitação à API Voyage com o seguinte endpoint: http://{voyage-app-vnet-private-ip}/embeddings.
curl -X GET "http://10.0.0.4/embeddings" \ -H "Content-Type: application/json" \ -d '{ "input": ["Best-in-class embedding models and rerankers"], "input_type": "query" }'
{"data":[{"object":"embedding","embedding":["-0.031104945",...,"-0.037366055"],"index":0}],"object":"list","model":"voyage-4-large","usage":{"total_tokens":13}}
Para todos os parâmetros do endpoint, consulte a referência da API.
Excluir um aplicativo de API Voyage
Para excluir seu endpoint da API Voyage,acesse seu aplicação e clique no botão Excluir na seção Visão geral . Na caixa de diálogo exibida, clique em Sim para confirmar a exclusão. Isso também exclui o grupo de recursos gerenciados associado.
Excluir máquina virtual bastion
Se você tiver provisionado uma máquina virtual bastion, exclua a máquina virtual para evitar custos incorridos e cobranças inesperadas.
Confirmar exclusão.
No painel de exclusão, certifique-se de que todos os recursos da máquina virtual sejam excluídos marcando todas as caixas de seleção mostradas na captura de tela abaixo: Aplicar exclusão forçada, Disco do sistema operacional, Interfaces derede, Endereços IP públicos. Marque a caixa de seleção de confirmação: "Li e entenda que esta máquina virtual, bem como quaisquer recursos associados selecionados listados acima, serão excluídos." Por fim, clique em Excluir.