Google Cloud モデル グループを使用して投票AIモデルを配置

利用可能なモデル

配置できるモデルを確認するには、Google Cloud モデル 結果で「Voyage」を検索します。

投票AIモデルの詳細については、「 モデルの概要 」を参照してください。

価格

Google Cloud モデル ツリーのMongoDBモデルによる投票AIの価格には、次のものが含まれます。

• モデル使用料金: 時間単位で請求される、 排他的AIモデルコンテナの使用コスト。使用料金は、特定のモデルと配置用に選択したハードウェア構成によって異なります。詳細な料金情報については、Google Cloud Marketplace のモデルのリスト ページの「価格」セクションを参照してください。

• お使いのリージョンにある Google Cloud の基礎となるインスタンス: 基礎となる Google Cloud CPUインスタンスのコスト（リージョン固有の Nvidia L4 、A100 、H100 など）は毎月請求され、月額料金は請求されます。 vCPU。詳しくは、「 Google Cloud コンピュート エンジンの料金 」を参照してください。

すべての請求料金は、Google Cloud の請求書の Vertex AIの使用として表示されます。

特定の投票AIモデルの価格を表示するには:

Quotas

投票AIモデルを配置すると、割り当ての対象となる Vertex AIリソースが消費されます。Quotas Google Cloud コンソールの IAM ページの [] セクションで割り当てを表示および管理できます。詳しくは、「プロジェクトの割り当てを表示する 」を参照してください。同じページで、現在の割り当てを右クリックし、[] Edit quotaをクリックして、必要に応じて割り当てを増やすためのリクエストを送信できます。

前提条件

Google Cloud Vertex AIを通じてMongoDBモデルの投票AIの使用を開始するには、次の手順を実行する必要があります。

• Google Cloudプロジェクトと開発環境を設定します。詳しくは、 「 プロジェクトと開発環境を設定する 」を参照してください。

• Vertex AI API を有効にします。手順については、「 セットアップ 」を参照してください。

ハードウェア構成

モデル ラグの各モデルには、推奨ハードウェア構成が示されています。各 Vyage モデルの推奨ハードウェア仕様については、「 Vertex AI用の Google Cloud Model 再構築 」を参照してください。

例、4 、 、 、 、および モデルでは、Vertex AIモデル グループが配置について提案する次の推奨インスタンスを使用します。これらの推奨事項は変更される可能性があるため、特定の Vyage AIモデルの公式 Google Cloud Platform ページを参照して、推奨ハードウェア を確認することをお勧めします。

• A や などの A2 a2-highgpu-1ga2-ultragpu-1g100インスタンスと A CPU がデフォルトの選択になります。

• より高いパフォーマンス ニーズには、H CPU と H などの A3 インスタンスが推奨されています。a3-highgpu-1g100

サポートされているリージョン

モデル データベースには、各投票AIモデルでサポートされているリージョンが一覧表示されます。モデルの別のリージョンでサポートが必要な場合は、 MongoDBサポート にお問い合わせください。

ベストプラクティスと制限事項

• エンドポイント タイプ: すべての投票AIモデルには専用のパブリック エンドポイント タイプが必要です。詳しくは、「 エンドポイントの種類を選択する 」を参照してください。

• input_type: クエリとドキュメントの理解: input_typeパラメーターは、検索タスクの埋め込みを最適化します。検索クエリには"query" "document"を使用し、検索されるコンテンツには を使用します。この最適化により、検索の精度が向上します。input_type パラメータの詳細については、「 埋め込みと再ランク付けAPI の概要 」を参照してください。

• 異なる出力サイズを使用する: 投票 モデルは、複数の出力ディメンション をサポートしています。 4256、512 、1024 （デフォルトは）、 単位が小さい場合、ストレージとコンピューティングのコストが削減されますが、単位が大きいと精度が向上する可能性があります。精度要件とリソース制約の最もバランスが取れたディメンションを選択します。2048

投票AIモデルの特定

モデル シャードでMongoDBモデルの投票AIを見つけるには、次の手順に従います。

Vertex AIでの投票AIモデルの配置

MongoDBモデルの Vyage AIを使用して予測するには、オンライン推論用のプライベートエンドポイントにそれを配置する必要があります。配置は、低レイテンシと高スループットのオンライン予測のモデルに物理リソースを関連付けます。 1 つのエンドポイントに複数のモデルを配置することも、同じモデルを複数のエンドポイントに配置することもできます。

モデルを配置するときは、次のオプションを考慮してください。

• エンドポイントのロケーション

• モデルコンテナ

• モデルの実行に必要な計算リソース

モデルを配置すると、これらの設定を変更することはできません。配置構成を変更する必要がある場合は、モデルの配置を解除し、新しい設定で再配置する必要があります。

投票AIモデルには専用のパブリック エンドポイントが必要です。詳しくは、Google Cloud Vertex AIドキュメントの「 パブリックエンドポイントの作成 」を参照してください。

コンソールを使用して、Google Cloud Vertex AIにモデルを配置するには次のようにします。

コードを使用した配置

モデルの詳細ページから View Code を選択した場合は、Vertex AI SDK を使用してプログラムによってモデルを配置できます。このアプローチでは、コードを通じて配置構成を完全に制御できます。

Google Cloud Vertex AI SDK の詳細については、 Python用の Vertex AI SDK ドキュメントを参照してください。

コードを使用してモデルを配置するには、次の手順に従います。

from vertexai import model_garden
MODEL_NAME = "mongodb/voyage-4@latest"
model = model_garden.OpenModel(MODEL_NAME)
deploy_options = model.list_deploy_options(concise=True)
print(deploy_options)

# Choose whether to deploy a new model or use an existing endpoint:
deployment_option = "deploy_new"  # ["deploy_new", "use_existing"]
# If using existing endpoint, provide the endpoint ID:
ENDPOINT_ID = ""  # {type:"string"}
if deployment_option == "deploy_new":
    print("Deploying new model...")
    endpoint = model.deploy(
        machine_type="a3-highgpu-1g",
        accelerator_type="NVIDIA_H100_80GB",
        accelerator_count=1,
        accept_eula=True,
        use_dedicated_endpoint=True,
    )
    print(f"Endpoint deployed: {endpoint.display_name}")
    print(f"Endpoint resource name: {endpoint.resource_name}")
else:
    if not ENDPOINT_ID:
        raise ValueError("Please provide an ENDPOINT_ID when using existing endpoint")
    from google.cloud import aiplatform
    print(f"Connecting to existing endpoint: {ENDPOINT_ID}")
    endpoint = aiplatform.Endpoint(
        endpoint_name=f"projects/{PROJECT_ID}/locations/{LOCATION}/endpoints/{ENDPOINT_ID}"
    )
    print(f"Using endpoint: {endpoint.display_name}")
    print(f"Endpoint resource name: {endpoint.resource_name}")

import json
# Multiple texts to embed
texts = [
    "Machine learning enables computers to learn from data.",
    "Natural language processing helps computers understand human language.",
    "Computer vision allows machines to interpret visual information.",
    "Deep learning uses neural networks with multiple layers."
]
# Prepare the batch request and make invoke call
body = {
    "input": texts,
    "output_dimension": 1024,
    "input_type": "document"
}
response = endpoint.invoke(
    request_path="/embeddings",
    body=json.dumps(body).encode("utf-8"),
    headers={"Content-Type": "application/json"}
)
# Extract embeddings
result = response.json()
embeddings = [item["embedding"] for item in result["data"]]
print(f"Number of texts embedded: {len(embeddings)}")
print(f"Embedding dimension: {len(embeddings[0])}")
print(f"\nFirst embedding (first 5 values): {embeddings[0][:5]}")
print(f"Second embedding (first 5 values): {embeddings[1][:5]}")

モデルの配置を解除し、エンドポイントを削除

配置されたモデルとそのエンドポイントを削除するには:

1. エンドポイントからモデルを配置解除します。

2. 必要に応じて、エンドポイント自体を削除します。

詳細な手順については、Google Cloud Vertex AIドキュメントの「 モデルの配置を解除し、エンドポイントを削除する 」を参照してください。