AWS Marketplace model packages are containerized solutions that include the model and inference code. You deploy them in your account and virtual private cloud (VPC). Model packages have the following key benefits:
Data flow and access control: Deploy models in your account and VPC to maintain full control over data flow and API access. This addresses data privacy risks associated with third-party or multi-tenant serving.
Confiabilidade e conformidade apoiadas pela AWS: a AWS atua como seu subprocessador, portanto, você herda todas as garantias de confiabilidade e conformidade da AWS.
Faturamento e pagamento pela AWS: Use suas informações de cobrança e créditos existentes da AWS para comprar modelos da Voyage AI por meio de listagens no marketplace. Você não precisa gerenciar um sistema separado de pagamento e cobrança de terceiros.
You can deploy a model package as a real-time inference API endpoint or a batch transform job. Real-time inference API endpoints provide persistent, fully managed API endpoints for request-by-request inference. Batch transform jobs run finite execution processes for bulk inference on datasets, writing predictions to a file. Both deployment types run on AWS instances, such as GPUs.
Modelos disponíveis
Para ver quais modelos você pode implantar, acesse o Perfil do vendedor do MongoDB Marketplace.
To learn more about Voyage AI models, see Models Overview.
Preços
O preço do uso de um pacote do modelo Voyage AI consiste em preços de software e preços de infraestrutura, ambos a uma taxa por hora. O preço do software cobre o custo do uso do modelo, enquanto o custo total por hora é a soma do preço do software e do preço da infraestrutura. As taxas de preços variam de acordo com o tipo de sistema (endpoint da API de inferência em tempo real versus tarefa de transformação em lote ), tipo de instância e região. Todos os modelos Voyage vêm com uma versão de teste grátis. Você pode encontrar os detalhes de preço de cada pacote de modelo na página de lista de produtos no AWS Marketplace.
As seções a seguir demonstram como assinar e distribuir os modelos.
Pré-requisitos
Você deve ter as seguintes permissões de gerenciamento de acesso de identidade (IAM) da AWS para se inscrever nas listagens do AWS Marketplace.
AmazonSageMakerFullAccess (Política Gerenciada da AWS)
aws-marketplace:ViewSubscriptionsaws-marketplace:Subscribeaws-marketplace:Unsubscribe
To add them, sign into your AWS account console and review the AWS documentation for instructions.
Procedimento
Para se inscrever usando o AWS Marketplace:
Select the model package.
Selecione o pacote do modelo Voyage AI para se inscrever no AWS Marketplace.
Você também pode confirmar e gerenciar suas assinaturas do AWS Marketplace por meio da página de gerenciamento de assinatura do console. Você pode cancelar sua assinatura a qualquer momento, mas observe que o assinatura não encerra os endpoints de inferência em tempo real existentes ou os trabalhos de transformação em lote . Para saber mais, consulte Excluir endpoints de inferência em tempo real.
Model package deployment requires specific SageMaker instances (e.g., ml.g5.xlarge). The exact quota names for these instances end with "endpoint usage" and "transform job usage" (e.g., "ml.g5.2xlarge for endpoint usage", and "ml.g5.2xlarge for transform job usage"). These quotas are typically set to zero by default. To request quota increases if needed, go to the SageMaker Service Quotas console.
Se precisar de ajuda para assinar e implantar um pacote do modelo Voyage AI do AWS Marketplace, entre em contato com o suporte do MongoDB .
Sistema de pacote de modelo
Esta seção inclui orientações sobre como implantar um pacote de modelo usando o Amazon SageMaker Studio e os blocos de leitura Jupyter.
Amazon SageMaker Studio
O Amazon SageMaker Studio é uma interface baseada na Web para o desenvolvimento de ML e IA que inclui um ambiente de bloco de anotações hospedado já autenticado em sua conta da AWS. Você pode pular esta seção se tiver outro ambiente de execução de Notebook Jupyter preferencial, como sua máquina local, onde você pode autenticar para sua conta AWS a partir do ambiente. Siga a documentação do SageMaker para iniciar o SageMaker Studio e, em seguida,inicie um ambiente JupyterLab.
Notebook Jupyter
Você pode usar o exemplo de bloco de notas Jupyter para começar a usar o Python usando o AWS SDK (Boto3) e o Amazon SageMaker Python SDK. Você pode executar o bloco de anotações no SageMaker Studio ou em seu ambiente de execução de bloco de anotações preferido do Jupyter depois de clonar o repositório da AWS do Voyage AI. Por exemplo,git clone
https://github.com/voyage-ai/voyageai-aws.git executando.
Alternatively, you can directly download the notebook from GitHub and upload it to SageMaker Studio or your preferred notebook environment.
Quando o bloco de anotações estiver no SageMaker Studio ou em seu ambiente de execução preferido, você poderá executar o código fornecido para implantar os modelos.
Excluir endpoints de inferência em tempo real
Não execute endpoints de inferência em tempo real por mais tempo do que o necessário. Se você fizer isso, eles poderão incorrer em custos desnecessários e levar a cobranças inesperadas. Se você estiver usando o bloco de anotações Jupyter fornecido, certifique-se de executar o código Clean Up, que exclui o endpoint e a configuração de endpoint associada. Você pode gerenciar e excluir endpoints por meio do SageMaker Studio ou do console do SageMaker. Para saber mais, consulte a documentação da AWS.
Advanced Deployment
The Jupyter notebook described in the previous section is meant to get you started and help you learn how to deploy model packages. However, there are several other ways to deploy model packages, such as CloudFormation, the SageMaker Console, and the AWS CLI. These alternative methods might be better suited for your existing production workflows. For example:
CloudFormation para especificação de infraestrutura declarativa
Console do SageMaker para implementação interativa baseada em UI
AWS CLI para orquestração de shell programática
To configure and deploy a model package using these methods:
Acesse a página de informações do produto.
Go to the product listing page for the subscribed MongoDB Voyage model from the AWS Marketplace.