AWS Marketplace 模型包 是包含模型和推理代码的容器化解决方案。您可以将它们部署在您的帐户和 Virtual Private 云 (VPC) 中。模型包具有以下主要优点:
数据流和访问权限控制:在您的账户和VPC中部署模型,以保持对数据流和API访问权限的完全控制。这解决了与第三方或多租户服务相关的数据隐私风险。
由 AWS 支持的可靠性和合规:AWS 作为您的分处理者,因此您可以继承所有 AWS 可靠性和 ACID 一致性保证。
通过 AWS 进行计费和付款:使用现有的 AWS 账单信息和信用通过市场列表购买 Voyage AI 模型。您无需管理单独的第三方支付和计费系统。
您可以将模型包部署为实时推理API终结点或批处理转换作业。实时推理API终结点为逐个请求的推理提供持久、完全托管的API终结点。批处理转换作业运行有限的执行进程,对数据集进行批量推理,将预测写入文件。这两种部署类型都在 AWS 实例上运行,例如 GPU。
可用型号
要查看可以部署哪些模型,请转到MongoDB Marketplace 卖家资料。
要学习;了解有关 Voyage AI模型的详情,请参阅 模型概述。
定价
Voyage AI模型包的使用定价包括软件定价和基础设施定价,均按小时计费。软件定价涵盖了模型使用费用,而每小时总费用是软件定价和基础架构定价的总和。定价因部署类型(实时推理API终结点与批处理转换作业)、实例类型和区域而异。所有 Voyage 型号均可免费试用。您可以在 AWS Marketplace 的产品列表页面上找到每个模型包的定价详细信息。
以下部分演示了如何订阅和部署模型。
先决条件
您必须具有以下 AWS 身份访问权限管理(IAM) 权限才能订阅AWS Marketplace 列表。
AmazonSageMakerFullAccess(AWS 托管策略)
aws-marketplace:ViewSubscriptionsaws-marketplace:Subscribeaws-marketplace:Unsubscribe
要添加它们,请登录您的 AWS 帐户控制台 并查看 AWS 文档 以获取说明。
步骤
使用 AWS Marketplace 进行订阅:
您还可以通过控制台的管理订阅页面确认和管理您的 AWS Marketplace 订阅。您可以随时取消订阅,但请注意,取消订阅不会终止现有的实时推理终结点或批处理转换作业。要学习;了解更多信息,请参阅删除实时推理终结点。
模型包部署需要特定的 SageMaker 实例(例如,ml.g5.xlarge)。这些实例的确切配额名称以“端点使用量”和“转换作业使用量”结尾(例如,“ml.g5.2xlargefor 终结点 usage", and "机器学习.g5.2xlarge用于转换作业使用”)。默认下,这些配额通常设立为零。如需在需要时请求增加配额,请访问SageMaker 服务配额控制台。
如果您在从 AWS Marketplace订阅和部署 Voyage AI模型包需要帮助,联系MongoDB support.
对包部署进行建模
本部分包括有关如何使用Amazon SageMaker Studio 和 Jupyter Notebooks部署模型包的指导。
Amazon SageMaker Studio
Amazon SageMaker Studio 是一个基于 Web 的机器学习 和AI开发界面,其中包括已通过 AWS 账户身份验证的托管笔记本环境。如果您有另一个首选的 Jupyter 笔记本执行环境(例如本地计算机),可以从该环境对您的 AWS 帐户进行身份验证,则可以跳过本节。按照 SageMaker 文档启动 SageMaker Studio,然后启动 JupyterLab 环境。
Jupyter Notebook
您可以使用示例Jupyter 笔记本,通过 AWS SDK (Boto3) 和Amazon SageMaker Python SDK开始使用Python。克隆Voyage AI AWS 存储库后,您可以在 SageMaker Studio 或首选 Jupyter 笔记本执行环境中运行笔记本。示例,运行git clone
https://github.com/voyage-ai/voyageai-aws.git。
或者,您可以直接从 GitHub下载笔记本,然后上传到 SageMaker Studio 或您首选的笔记本环境。
一旦笔记本位于 SageMaker Studio 或您首选的执行环境中,您就可以运行提供的代码来部署模型。
删除实时推理终结点
运行实时推理终结点的时间不要超过必要的时间。如果这样做,可能会产生浪费的成本并产生意外费用。如果使用提供的 Jupyter 笔记本,请确保运行清理代码,这会删除终结点和关联的终结点配置。您可以通过 SageMaker Studio 或 SageMaker 控制台管理和删除终结点。要学习;了解更多信息,请参阅 AWS 文档。
高级部署
上一节中描述的 Jupyter 笔记本旨在帮助您入门并帮助您学习;了解如何部署模型包。但是,还有其他几种部署模型包的方法,例如 CloudFormation、SageMaker 控制台和 AWS CLI。这些替代方法可能更适合您现有的生产工作流程。示例:
CloudFormation 用于声明性基础架构规范
用于基于用户界面的交互式部署的 SageMaker 控制台
用于编程式Shell编排的 AWS CLI
要使用这些方法配置和部署模型包,请执行以下操作:
Go产品列表页面。
Go从 AWS Marketplace 订阅的MongoDB Voyage 模型的产品列表页面。