Modelos de AWS Marketplace paquetes de modelos son soluciones contenerizadas que incluyen el modelo y el código de inferencia. Los implementa en su cuenta y en la nube privada virtual (VPC). los paquetes de modelos presentan los siguientes beneficios clave:
Control de flujo y acceso a datos: Implementa los modelos en tu cuenta y VPC para mantener un control total sobre el flujo de datos y el acceso a la API. Esto aborda los riesgos de privacidad de datos asociados con la prestación de servicios de terceros o multiinquilinos.
Fiabilidad y cumplimiento respaldados por AWS: AWS actúa como su subprocesador, por lo que usted hereda todas las garantías de fiabilidad y cumplimiento que ofrece AWS.
Facturación y pago a través de AWS: Usa tu información de facturación existente de AWS y créditos para adquirir modelos de Voyage IA a través de los listados del marketplace. No necesitas administrar un sistema de pago y facturación de terceros por separado.
Puedes implementar un paquete de modelo como un punto final de API de inferencia en tiempo real o una tarea de transformación por lotes. Los endpoints de la API de inferencia en tiempo real proporcionan endpoints de API persistentes, totalmente gestionados, para inferencia solicitud por solicitud. Los trabajos de transformación por lotes ejecutan procesos de ejecución finitos para inferencia masiva en conjuntos de datos, escribiendo predicciones en un archivo. Ambos tipos de implementaciones se ejecutan en instancias de AWS, como GPUs.
Modelos disponibles
Para ver qué modelos puedes implementar, ve al Perfil del vendedor de MongoDB Marketplace.
Para obtener más información sobre los modelos de Voyage AI, consulte Descripción general de los modelos.
Precios
La tarificación por el uso de un paquete de modelo Voyage IA se compone de precios de software y precios de infraestructura, ambos a una tarifa por hora. El precio del software cubre el costo del uso del modelo, mientras que tu costo total por hora es la suma del precio del software y el precio de la infraestructura. Las tarifas varían según el tipo de implementación (API de inferencia en tiempo real frente a trabajo de transformación por lotes), el tipo de instancia y la región. Todos los modelos Voyage tienen una prueba gratuita. Puedes encontrar los detalles de precios de cada paquete de modelo en la página de listado de productos en AWS Marketplace.
Las siguientes secciones demuestran cómo suscribirse e implementar los modelos.
Requisitos previos
Debe tener los siguientes permisos de gestión de acceso a la identidad de AWS (IAM) para suscribirse a las listas de AWS Marketplace.
AmazonSageMakerFullAccess (Política gestionada por AWS)
aws-marketplace:ViewSubscriptionsaws-marketplace:Subscribeaws-marketplace:Unsubscribe
Para añadirlos, inicia sesión en la consola de tu cuenta AWS y revisa la documentación de AWS para conocer las instrucciones.
Procedimiento
Para suscribirse mediante AWS Marketplace:
Seleccione el paquete del modelo.
Selecciona el paquete del modelo Voyage IA al que deseas suscribirte en el AWS Marketplace.
También puedes confirmar y gestionar tus suscripciones de AWS Marketplace a través de la página de gestión de suscripciones de la consola. Puede cancelar tu suscripción en cualquier momento, pero ten en cuenta que cancelar tu suscripción no da por terminados los endpoints ya existentes de inferencia en tiempo real ni las tareas de transformación por lotes. Para aprender más, consulta Borrar puntos finales de inferencia en tiempo real.
La implementación del paquete del modelo requiere instancias específicas en SageMaker (por ejemplo, ml.g5.xlarge). Los nombres exactos de las cuotas para estas instancias terminan en "uso del endpoint" y "uso de trabajos de transformación" (por ejemplo, "aprendizaje automático.g5.2xlarge para uso de endpoints", y "aprendizaje automático.g5.2xlarge para uso de tareas de transformación"). Estos cupos normalmente se establecen en cero por defecto. Para solicitar aumentos de cupo si es necesario, dirígete a la consola de cupos de servicio SageMaker.
Si necesitas ayuda para suscribirse e implementar un paquete de modelo de Voyage IA desde AWS Marketplace, contacta con el soporte de MongoDB.
Implementación del paquete de modelo
Esta sección incluye orientación sobre cómo implementar un paquete de modelo utilizando Amazon SageMaker Studio y Jupyter Notebooks.
Amazon SageMaker Studio
Amazon SageMaker Studio es una interfaz basada en la web para el desarrollo de aprendizaje automático y IA que incluye un entorno de cuaderno alojado ya autenticado en tu cuenta de AWS. Puede omitir esta sección si cuenta con otro entorno de ejecución de Jupyter Notebook preferido, como su máquina local, donde puede autenticarse en su cuenta de AWS desde el entorno. Siga la documentación de SageMaker para lanzar SageMaker Studio y luego lanzar un entorno JupyterLab.
cuaderno Jupyter
Puedes usar el cuaderno de ejemplo de Jupyter para empezar con Python usando el AWS SDK (Boto3) y el Amazon SageMaker Python SDK. Puede ejecutar el cuaderno en SageMaker Studio o en su entorno de ejecución de cuadernos Jupyter preferido después de clonar el Repositorio AWS de Voyage IA. Por ejemplo, ejecutando git clone
https://github.com/voyage-ai/voyageai-aws.git.
Como alternativa, puedes descargar el cuaderno directamente desde GitHub y cargarlo en SageMaker Studio o en el entorno de cuadernos que prefieras.
Una vez que el notebook esté en SageMaker Studio o en el entorno de ejecución preferido, se puede ejecutar el código proporcionado para implementar los modelos.
Borrar endpoints de inferencia en tiempo real
No ejecutes endpoints de inferencia en tiempo real por más tiempo del necesario. Si lo haces, podrías incurrir en costos innecesarios y cargos inesperados. Si utilizas el cuaderno de Jupyter provisto, asegúrate de ejecutar el código de limpieza, que borra el endpoint y la configuración asociada del endpoint. Puedes gestionar y borrar endpoints a través de SageMaker Studio o de la consola de SageMaker. Para aprender más, consulta la documentación de AWS.
Implementación Avanzada
El cuaderno de Jupyter descrito en la sección anterior está destinado a ayudarte a comenzar y permitirte aprender cómo implementar paquetes de modelos. Sin embargo, existen varias otras formas de implementar paquetes de modelos, como CloudFormation, la consola de SageMaker y la CLI de AWS. Estos métodos alternativos podrían ser más adecuados para sus flujos de trabajo de producción existentes. Por ejemplo:
CloudFormation para la especificación declarativa de la infraestructura
SageMaker Console para implementación interactiva basada en Interfaz de Usuario
AWS CLI para la orquestación programática shell
Para configurar e implementar un paquete de modelo usando estos métodos:
Ir a la página de listado de productos.
Ve a la página de listado de productos del modelo MongoDB Voyage suscrito desde el Marketplace de AWS.