Paquetes de modelos deAWS Marketplace Son soluciones contenedorizadas que incluyen el modelo y el código de inferencia. Se implementan en su cuenta y en la nube virtual privada (VPC). Los paquetes de modelos ofrecen las siguientes ventajas clave:
Flujo de datos y control de acceso: Implemente modelos en su cuenta y VPC para mantener un control total sobre el flujo de datos y el acceso a la API. Esto aborda los riesgos de privacidad de datos asociados con el servicio de terceros o multiusuario.
Confiabilidad y cumplimiento respaldados por AWS: AWS actúa como su subprocesador, por lo que hereda todas las garantías de confiabilidad y cumplimiento de AWS.
Facturación y pago a través de AWS: Utilice su información de facturación y créditos de AWS para comprar modelos de Voyage AI a través de las publicaciones del mercado. No necesita administrar un sistema de pago y facturación externo.
Puedes implementar un paquete de modelo como un punto final de API de inferencia en tiempo real o una tarea de transformación por lotes. Los endpoints de la API de inferencia en tiempo real proporcionan endpoints de API persistentes, totalmente gestionados, para inferencia solicitud por solicitud. Los trabajos de transformación por lotes ejecutan procesos de ejecución finitos para inferencia masiva en conjuntos de datos, escribiendo predicciones en un archivo. Ambos tipos de implementaciones se ejecutan en instancias de AWS, como GPUs.
Modelos disponibles
Para ver qué modelos puedes implementar, ve al Perfil del vendedor de MongoDB Marketplace.
Para obtener más información sobre los modelos de Voyage AI, consulte Descripción general de los modelos.
Precios
El precio de un paquete de modelos de IA de Voyage incluye el precio del software y el precio de la infraestructura, ambos por hora. El precio del software cubre el coste del uso del modelo, mientras que el coste total por hora es la suma del precio del software y el de la infraestructura. Los precios varían según el tipo de implementación (punto final de la API de inferencia en tiempo real o trabajo de transformación por lotes), el tipo de instancia y la región. Todos los modelos de Voyage incluyen una prueba gratuita. Puede consultar los detalles de precios de cada paquete de modelos en la página de productos de AWS Marketplace.
Las siguientes secciones demuestran cómo suscribirse e implementar los modelos.
Requisitos previos
Debe tener los siguientes permisos de administración de acceso a identidad (IAM) de AWS para suscribirse a los listados de AWS Marketplace.
AmazonSageMakerFullAccess (Política administrada por AWS)
aws-marketplace:ViewSubscriptionsaws-marketplace:Subscribeaws-marketplace:Unsubscribe
Para añadirlos, inicia sesión en la consola de tu cuenta AWS y revisa la documentación de AWS para conocer las instrucciones.
Procedimiento
Para suscribirse mediante AWS Marketplace:
Seleccione el paquete modelo.
Seleccione el paquete de modelos de Voyage AI al que desea suscribirse en AWS Marketplace.
También puede confirmar y administrar sus suscripciones a AWS Marketplace a través de la página de administración de suscripciones de la consola. Puede cancelar su suscripción en cualquier momento, pero tenga en cuenta que esto no cancela sus puntos de conexión de inferencia en tiempo real ni sus trabajos de transformación por lotes. Para obtener más información, consulte Eliminar puntos de conexión de inferencia en tiempo real.
La implementación de paquetes de modelos requiere55.25.2 instancias específicas de SageMaker (p. ej., ml.g.xlarge). Los nombres de cuota exactos para estas instancias terminan con "uso de punto final" y "uso de trabajo de transformación" (p. ej., "ml.g xlarge para uso de punto final" y "ml.g xlarge para uso de trabajo de transformación"). Estas cuotas suelen estar configuradas en cero de forma predeterminada. Para solicitar aumentos de cuota, si es necesario, acceda a la consola de Cuotas de Servicio de SageMaker.
Si necesita ayuda para suscribirse e implementar un paquete de modelos de Voyage AI desde AWS Marketplace,comuníquese con el soporte de MongoDB.
Implementación de paquetes modelo
Esta sección incluye orientación sobre cómo implementar un paquete de modelo utilizando Amazon SageMaker Studio y Jupyter Notebooks.
Estudio Amazon SageMaker
Amazon SageMaker Studio es una interfaz basada en la web para el desarrollo de aprendizaje automático y IA que incluye un entorno de cuaderno alojado ya autenticado en tu cuenta de AWS. Puede omitir esta sección si cuenta con otro entorno de ejecución de Jupyter Notebook preferido, como su máquina local, donde puede autenticarse en su cuenta de AWS desde el entorno. Siga la documentación de SageMaker para lanzar SageMaker Studio y luego lanzar un entorno JupyterLab.
Cuaderno Jupyter
Puede usar el cuaderno de Jupyter de ejemplo para comenzar a usar Python mediante el SDK de AWS3(Boto) y el SDK de Python de Amazon SageMaker. Puede ejecutar el cuaderno en SageMaker Studio o en su entorno de ejecución de cuaderno de Jupyter preferido después de clonar el repositorio de AWS de Voyage AI. Por ejemplo,git clone
https://github.com/voyage-ai/voyageai-aws.git ejecute.
Alternativamente, puede descargar directamente el cuaderno desde GitHub y cargarlo en SageMaker Studio o en su entorno de cuaderno preferido.
Una vez que el cuaderno esté en SageMaker Studio o en su entorno de ejecución preferido, puede ejecutar el código proporcionado para implementar los modelos.
Eliminar puntos finales de inferencia en tiempo real
No ejecutes endpoints de inferencia en tiempo real por más tiempo del necesario. Si lo haces, podrías incurrir en costos innecesarios y cargos inesperados. Si utilizas el cuaderno de Jupyter provisto, asegúrate de ejecutar el código de limpieza, que borra el endpoint y la configuración asociada del endpoint. Puedes gestionar y borrar endpoints a través de SageMaker Studio o de la consola de SageMaker. Para aprender más, consulta la documentación de AWS.
Implementación avanzada
El cuaderno de Jupyter descrito en la sección anterior está diseñado para ayudarle a comenzar y a aprender a implementar paquetes de modelos. Sin embargo, existen otras maneras de implementar paquetes de modelos, como CloudFormation, la consola de SageMaker y la CLI de AWS. Estos métodos alternativos podrían ser más adecuados para sus flujos de trabajo de producción actuales. Por ejemplo:
CloudFormation para la especificación de infraestructura declarativa
Consola SageMaker para implementación interactiva basada en UI
AWS CLI para la orquestación de shell programático
Para configurar e implementar un paquete de modelos utilizando estos métodos:
Vaya a la página de listado de productos.
Ve a la página de listado de productos del modelo MongoDB Voyage suscrito desde el Marketplace de AWS.