AWS Marketplace 모델 패키지 는 모델과 추론 코드를 포함하는 컨테이너화된 솔루션입니다. 계정과 가상 프라이빗 cloud (VPC )에 배포 . 모델 패키지에는 다음과 같은 주요 이점이 있습니다.
데이터 흐름 및 액세스 제어: 계정과 VPC 에 모델을 배포하여 데이터 흐름 및 API 액세스 완전히 제어할 수 있습니다. 이를 통해 타사 또는 멀티 테넌트 서비스와 관련된 데이터 개인정보 보호 위험을 해결할 수 있습니다.
AWS가 지원하는 안정성 및 컴플라이언스: AWS는 사용자의 하위 프로세서 역할을 하므로 사용자는 모든 AWS 안정성 및 컴플라이언스 보장 상속받습니다.
AWS를 통한 청구 및 결제: 기존 AWS 청구 정보 및 크레딧을 사용하여 마켓플레이스 목록을 통해 Voyage AI 모델을 구매할 수 있습니다. 별도의 타사 결제 및 청구 시스템을 관리 할 필요가 없습니다.
모델 패키지 실시간 추론 API 엔드포인트 또는 배치 변환 작업 으로 배포 할 수 있습니다. 실시간 추론 API 엔드포인트는 요청별 추론을 위한 영구적인 완전 managed API 엔드포인트를 제공합니다. 배치 변환 작업은 데이터 세트에 대한 대량 추론을 위해 유한 실행 프로세스를 실행 파일 에 예측을 기록합니다. 두 배포서버 유형 모두 GPU와 같은 AWS 인스턴스에서 실행 .
사용 가능한 모델
배포 할 수 있는 모델을 확인하려면 MongoDB Marketplace 판매자 프로필로 이동하세요.
Voyage AI 모델에 대해 자세히 학습 모델 개요를 참조하세요.
가격
Voyage AI 모델 패키지 사용 요금은 소프트웨어 가격과 인프라 가격으로 구성되며, 둘 다 시간당 요금입니다. 소프트웨어 가격에는 모델 사용 비용 이 포함되며, 총 시간당 비용 소프트웨어 가격과 인프라 가격을 합한 금액입니다. 요금은 배포서버 유형(실시간 추론 API 엔드포인트 대 배치 변환 작업), 인스턴스 유형, 리전 에 따라 달라집니다. 모든 Voyage 모델에는 무료 평가판이 제공됩니다. 각 모델 패키지 에 대한 요금 세부 정보는 AWS Marketplace의 제품 목록 페이지에서 확인할 수 있습니다.
다음 섹션에서는 모델을 구독 하고 배포 방법을 설명합니다.
전제 조건
AWS Marketplace 목록을 구독 하려면 다음과 같은 AWS ID 액세스 관리 (IAM) 권한이 있어야 합니다.
AmazonSageMakerFullAccess(AWS 관리형 정책)
aws-marketplace:ViewSubscriptionsaws-marketplace:Subscribeaws-marketplace:Unsubscribe
추가하려면AWS 계정 콘솔에 로그인하여 AWS 설명서에서 지침을 검토 .
절차
AWS Marketplace를 사용하여 구독 하려면 다음을 수행합니다.
모델 패키지 선택합니다.
AWS Marketplace에서구독 할 Voyage AI 모델 패키지 선택합니다.
콘솔의 관리 구독 페이지를 통해 AWS Marketplace 구독을 확인하고 관리 수도 있습니다. 언제든지 구독 취소할 수 있지만 구독 취소해도 기존 실시간 추론 엔드포인트 또는 배치 변환 작업이 종료되지는 않습니다. 자세한 학습 은 실시간 추론 엔드포인트 삭제를 참조하세요.
모델 패키지 배포서버 특정 SageMaker5 인스턴스(예:ml.g.xlarge)가 필요합니다. 이러한5.25.2 인스턴스의 정확한 할당량 이름은 'endpoint 사용량' 및 '변환 작업 사용량'으로 끝납니다(예: 'ml.g xlarge 엔드포인트 사용량 및 'ml.g xlarge 변환 작업 사용량'). . 이러한 할당량은 일반적으로 기본값 으로 0으로 설정하다 됩니다. 필요한 경우 할당량 증가를 요청하려면 SageMaker Service Quotas 콘솔로 이동합니다.
AWS Marketplace에서 Voyage AI 모델 패키지 구독 하고 배포하는 데 도움이 필요하면 MongoDB 지원 문의 .
모델 패키지 배포
이 섹션에는 Amazon SageMaker Studio 및 Jupyter 노트북을 사용하여 모델 패키지 배포 방법에 대한 지침 포함되어 있습니다.
Amazon SageMaker Studio
Amazon SageMaker Studio는 ML 및 AI 개발을 위한 웹 기반 인터페이스로, AWS 계정에서 이미 인증된 호스팅된 노트북 환경을 포함합니다. 로컬 머신과 같이 환경에서 AWS 계정으로 인증할 수 있는 다른 선호하는 Jupyter 노트북 실행 환경이 있는 경우 이 섹션을 건너뛸 수 있습니다. SageMaker 설명서에 따라 SageMaker Studio를 시작한 다음 JupyterLab 환경을 시작합니다.
Jupyter 노트북
예시 Jupyter 노트북을 사용하여 AWS SDK(Boto3) 및 Amazon SageMaker Python SDK를 사용하여 Python 시작할 수 있습니다.Voyage AI AWS 리포지토리를 복제한 후 SageMaker Studio 또는 선호하는 Jupyter 노트북 실행 환경에서 노트북을 실행 수 있습니다. 예시 를 들어 git clone
https://github.com/voyage-ai/voyageai-aws.git 을 (실행 .
또는 GitHub에서 노트북을 직접 다운로드 하여 SageMaker Studio 또는 원하는 노트북 환경에 업로드할 수 있습니다.
노트북이 SageMaker Studio 또는 선호하는 실행 환경에 있으면 제공된 코드를 실행 모델을 배포 수 있습니다.
실시간 추론 엔드포인트 삭제
실시간 추론 엔드포인트를 필요 이상으로 오래 실행 하지 마세요. 이렇게 하면 낭비적인 비용이 발생하고 예기치 않은 요금이 발생할 수 있습니다. 제공된 Jupyter 노트북을 사용하는 경우 엔드포인트 및 관련 엔드포인트 구성을 삭제하는 정리 코드를 실행 해야 합니다. SageMaker Studio 또는 SageMaker 콘솔을 통해 엔드포인트를 관리 하고 삭제 수 있습니다. 자세한 학습 은 AWS 설명서를 참조하세요.
고급 배포
이전 섹션에서 설명한 Jupyter 노트북은 시작하는 데 도움이 되고 모델 패키지를 배포 방법을 학습 데 도움이 됩니다. 그러나 CloudFormation, SageMaker 콘솔 및 AWS CLI 와 같은 모델 패키지를 배포 몇 가지 다른 방법이 있습니다. 이러한 대체 방법은 기존 프로덕션 워크플로에 더 적합할 수 있습니다. 예시 들면 다음과 같습니다.
선언적 인프라 사양용 CloudFormation
대화형 UI 기반 배포서버 위한 SageMaker Console
프로그래밍 방식 셸 오케스트레이션을 위한 AWS CLI
이러한 방법을 사용하여 모델 패키지 구성하고 배포 하려면 다음을 수행합니다.
제품 목록 페이지로 고 (Go) .
AWS Marketplace에서구독한 MongoDB Voyage 모델의 제품 목록 페이지로 고 (Go) .