Os pacotes de modelo do AWS Marketplace são soluções em contêiner que incluem o modelo e o código de inferência. Você os implanta em sua conta e nuvem privada virtual (VPC). Os pacotes do modelo têm os seguintes benefícios principais:
Fluxo de dados e controle de acesso: implemente modelos em sua conta e na VPC para manter o controle total sobre o fluxo de dados e o acesso à API. Isso aborda os riscos de privacidade de dados associados ao serviço de terceiros ou de vários inquilinos.
Confiabilidade e compliance apoiadas pela AWS: a AWS atua como seu subprocessador, portanto, você herda todas as garantias de confiabilidade e compliance da AWS.
Faturamento e pagamento pela AWS: Use suas informações de cobrança e créditos existentes da AWS para comprar modelos da Voyage IA por meio de listagens no marketplace. Você não precisa gerenciar um sistema separado de pagamento e cobrança de terceiros.
Você pode implantar um pacote de modelo como um ponto de extremidade de API de inferência em tempo real ou uma tarefa de transformação em lote. Os pontos de extremidade da API de inferência em tempo real fornecem pontos de extremidade da API persistentes e totalmente gerenciados para inferência solicitação por solicitação. Os trabalhos de transformação em lote executam processos de execução finitos para inferência em massa em conjuntos de dados, gravando projeções em um arquivo. Ambos os tipos de implantação são executados em instâncias da AWS, como CPU.
Modelos disponíveis
Para ver quais modelos você pode implantar, acesse o Perfil do vendedor do MongoDB Marketplace.
Para aprender mais sobre os modelos de IA do Voyage, consulte Visão geral dos modelos.
Preços
O preço do uso de um pacote do modelo Voyage IA consiste em preços de software e preços de infraestrutura, ambos a uma taxa por hora. O preço do software cobre o custo do uso do modelo, enquanto o custo total por hora é a soma do preço do software e do preço da infraestrutura. As taxas de preços variam de acordo com o tipo de implantação (ponto de extremidade da API de inferência em tempo real versus tarefa de transformação em lote), tipo de instância e região. Todos os modelos Voyage vêm com uma versão de teste grátis. Você pode encontrar os detalhes de preço de cada pacote de modelo na página de lista de produtos no AWS Marketplace.
As seções a seguir demonstram como inscrever e implantar os modelos.
Pré-requisitos
Você deve ter as seguintes permissões de gerenciamento de acesso de identidade (IAM) da AWS para se inscrever nas listagens do AWS Marketplace.
AmazonSageMakerFullAccess (Política Gerenciada da AWS)
aws-marketplace:ViewSubscriptionsaws-marketplace:Subscribeaws-marketplace:Unsubscribe
Para adicioná-los, faça login no console da sua conta da AWS e revise a documentação da AWS para obter instruções.
Procedimento
Para se inscrever usando o AWS Marketplace:
Selecione o modelo de pacote.
Selecione o pacote do modelo Voyage AI para se inscrever no AWS Marketplace.
Você também pode confirmar e gerenciar suas assinaturas do AWS Marketplace por meio da página de gerenciamento de assinatura do console. Você pode cancelar sua assinatura a qualquer momento, mas observe que o cancelamento da assinatura não encerra os pontos de extremidade de inferência em tempo real existentes ou as tarefas de transformação em lote. Para saber mais, consulte Excluir pontos de extremidade de inferência em tempo real.
A implantação do pacote de modelos exige instâncias específicas do SageMaker (por exemplo,ml.g5.xlarge). Os nomes exatos das cotas dessas instâncias terminam com " uso do ponto de extremidade " e " transformação do uso do tarefa " (por exemplo, "ml.g5.2xlarge para uso do ponto de extremidade" e "ml.g5.2xlarge para transformar o uso do tarefa "). Essas cotas normalmente são definidas como zero por padrão. Para solicitar aumentos de cota, se necessário, acesse o console de Cotas de Serviço do SageMaker.
Se precisar de ajuda para assinar e implantar um pacote do modelo Voyage IA do AWS Marketplace, entre em contato com o suporte do MongoDB.
Implantação de pacote de modelo
Esta seção inclui orientações sobre como implantar um pacote de modelo usando o Amazon SageMaker Studio e os blocos de leitura Jupyter.
Amazon SageMaker Studio
Amazon SageMaker Studio é uma interface baseada na Web para o desenvolvimento de aprendizado de máquina e IA que inclui um ambiente de bloco de anotações hospedado já autenticado em sua conta da AWS. Você pode pular esta seção se tiver outro ambiente de execução de Notebook Jupyter preferencial, como sua máquina local, onde você pode autenticar para sua conta AWS a partir do ambiente. Siga a documentação do SageMaker para iniciar o SageMaker Studio e, em seguida, inicie um ambiente JupyterLab.
Notebook Jupyter
Você pode usar o exemplo de bloco de notas Jupyter para começar a usar o Python usando o AWS SDK (Boto3) e o Amazon SageMaker Python SDK. Você pode executar o bloco de anotações no SageMaker Studio ou em seu ambiente de execução de bloco de anotações preferido do Jupyter depois de clonar o repositório da AWS do Voyage IA. Por exemplo, executando git clone
https://github.com/voyage-ai/voyageai-aws.git.
Como alternativa, você pode baixar diretamente o bloco de anotações do GitHub e carregá-lo no SageMaker Studio ou no ambiente de bloco de anotações de sua preferência.
Quando o bloco de anotações estiver no SageMaker Studio ou em seu ambiente de execução preferido, você poderá executar o código fornecido para implantar os modelos.
Excluir pontos de extremidade de inferência em tempo real
Não execute pontos de extremidade de inferência em tempo real por mais tempo do que o necessário. Se você fizer isso, eles poderão incorrer em custos desnecessários e levar a cobranças inesperadas. Se você estiver usando o bloco de anotações Jupyter fornecido, certifique-se de executar o código Clean Up, que exclui o ponto de extremidade e a configuração de ponto de extremidade associada. Você pode gerenciar e excluir pontos de extremidade por meio do SageMaker Studio ou do console do SageMaker. Para aprender mais, consulte a documentação da AWS.
Implantação avançada
O bloco de anotações Jupyter descrito na seção anterior tem o objetivo de começar e ajudá-lo a aprender como implantar pacotes de modelo. No entanto, existem várias outras maneiras de implantar pacotes de modelo, como o CloudFormation, o Console do SageMaker e a AWS CLI. Esses métodos alternativos podem ser mais adequados para seus fluxos de trabalho de produção existentes. Por exemplo:
CloudFormation para especificação de infraestrutura declarativa
Console do SageMaker para implantação interativa baseada em IU
AWS CLI para orquestração de shell programática
Para configurar e implantar um pacote de modelo usando estes métodos:
Acesse a página de informações do produto.
Acesse a página de lista de produtos do modelo MongoDB Voyage inscrito no AWS Marketplace.