AWS Marketplace 模型包 是包含模型和推理代码的容器化解决方案。您可以将它们部署在您的帐户和 Virtual Private 云 (VPC) 中。模型包具有以下主要优点:
数据流和访问权限控制:在您的账户和VPC中部署模型,以保持对数据流和API访问权限的完全控制。这解决了与第三方或多租户服务相关的数据隐私风险。
由 AWS 支持的可靠性和合合规:AWS 作为您的分处理者,因此您可以继承所有 AWS 可靠性和合合规ACID 一致性保证。
通过 AWS 进行计费和付款:使用现有的 AWS 账单信息和积分通过市场列表购买 Voyage AI模型。您无需管理单独的第三方支付和计费系统。
您可以将模型包部署为实时推理API端点或批处理转换作业。实时推理API端点为逐个请求的推理提供持久、完全托管的API端点。批处理转换作业运行有限的执行进程,对数据集进行批量推理,将预测写入文件。这两种部署类型都在 AWS 实例上运行,例如 GPU。
可用型号
要查看可以部署哪些模型,请转到MongoDB Marketplace 卖家资料。
要学习;了解有关 Voyage AI模型的详情,请参阅 模型概述。
定价
Voyage AI模型包的使用定价包括软件定价和基础设施定价,均按小时计费。软件定价涵盖了模型使用费用,而每小时总费用是软件定价和基础架构定价的总和。定价因部署类型(实时推理API端点与批处理转换作业)、实例类型和地区而异。所有 Voyage 型号均可免费试用。您可以在 AWS Marketplace 的产品列表页面上找到每个模型包的定价详细信息。
以下部分演示了如何订阅和部署模型。
先决条件
您必须具有以下 AWS 身份访问权限管理(IAM) 权限才能订阅AWS Marketplace 列表。
aws-marketplace:ViewSubscriptionsaws-marketplace:Subscribeaws-marketplace:Unsubscribe
要添加它们,请登录您的 AWS 帐户控制台并查看AWS 文档以获取说明。
步骤
使用 AWS Marketplace 进行订阅:
您还可以通过控制台的管理订阅页面确认和管理您的 AWS Marketplace 订阅。您可以随时取消订阅,但请注意,取消订阅不会终止现有的实时推理端点或批处理转换作业。要学习;了解更多信息,请参阅删除实时推理端点。
模型包部署需要特定的 SageMaker5 实例(例如,ml.g.xlarge)。这些实例的确切配额名称以“端点使用量”和“转换作业使用量”结尾(例如,“端点使用量为“ml.g5.2 xlarge”,转换作业使用量为“ml.g5.2 xlarge”) 。默认下,这些配额通常设立为零。如需在需要时请求增加配额,请访问 SageMaker 服务配额控制台。
如果您在从 AWS Marketplace订阅和部署 Voyage AI模型包需要帮助,联系MongoDB支持。
对包部署进行建模
本部分包括有关如何使用Amazon SageMaker Studio 和 Jupyter Notebooks部署模型包的指导。
Amazon SageMaker Studio
Amazon SageMaker Studio 是一个基于 Web 的 ML 和AI开发界面,其中包括已通过 AWS 账户身份验证的托管笔记本环境。如果您有另一个首选的 Jupyter 笔记本执行环境(例如本地计算机),可以从该环境对您的 AWS 帐户进行身份验证,则可以跳过本节。按照 SageMaker 文档启动 SageMaker Studio,然后启动 JupyterLab 环境。
Jupyter Notebook
您可以使用示例Jupyter 笔记本,通过 AWS SDK ( Boto3 ) 和Amazon SageMaker Python SDK 开始使用Python 。克隆 Voyage AI AWS 存储库后,您可以在 SageMaker Studio 或首选 Jupyter 笔记本执行环境中运行笔记本。示例,运行git clone
https://github.com/voyage-ai/voyageai-aws.git 。
或者,您可以直接从 GitHub下载笔记本,然后上传到 SageMaker Studio 或您首选的笔记本环境。
一旦笔记本位于 SageMaker Studio 或您首选的执行环境中,您就可以运行提供的代码来部署模型。
删除实时推理端点
运行实时推理端点的时间不要超过必要的时间。如果这样做,可能会产生浪费的成本并产生意外费用。如果使用提供的 Jupyter 笔记本,请确保运行清理代码,这会删除端点和关联的端点配置。您可以通过 SageMaker Studio 或 SageMaker 控制台管理和删除端点。要学习;了解更多信息,请参阅 AWS 文档。
高级部署
上一节中描述的 Jupyter 笔记本旨在帮助您入门并帮助您学习;了解如何部署模型包。但是,还有其他几种部署模型包的方法,例如 CloudFormation、SageMaker 控制台和 AWS CLI。这些替代方法可能更适合您现有的生产工作流程。示例:
CloudFormation 用于声明性基础架构规范
用于基于用户界面的交互式部署的 SageMaker 控制台
用于编程式Shell编排的 AWS CLI
要使用这些方法配置和部署模型包,请执行以下操作:
Go产品列表页面。
Go从 AWS Marketplace 订阅的MongoDB Voyage 模型的产品列表页面。