Configure mongot for MongoDB Vector Search Automated Embedding

自動埋め込みの機能

自動埋め込みを使用しない場合、アプリケーションは次のことを行います。

1. 挿入または更新する各ドキュメントの埋め込みを生成します。

2. この埋め込みをコレクション内のドキュメントと一緒に保存します。

3. クエリ時に同じモデルを使用して、すべてのクエリの埋め込みを生成します。

4. クエリ埋め込みを $vectorSearch に提出します。

自動型埋め込みでは、mongot がステップ 1、2、3 を取り扱います。アプリケーション:

1. テキスト フィールドの autoEmbed フィールド タイプを使用して MongoDB ベクトル検索インデックスを構成します。

2. ドキュメントを通常に挿入および更新します。

   mongot テキスト フィールドを読み取り、構成された埋め込みモデルを介して埋め込みを生成して保存します。

3. 事前計算された埋め込みではなく、クエリ テキストで $vectorSearch クエリを発行します。

   mongot クエリテキストの埋め込みを生成します。

サポートされている埋め込みプロバイダー

自己管理型 mongot 自動埋め込みは、Voyage AI 埋め込みモデルと統合されています。

埋め込み生成にはコストが発生します。詳しくは、自動埋め込みの請求を管理する を参照してください。

前提条件

Automated 埋め込みを使用するには、以下の前提条件を満たしている必要があります：

• mongot 自己管理型配置（Community tarballまたはコンテナ、ローカル開発、およびKubernetes Operatorを通じたエンタープライズ版）における1.70.1以降。

• MongoDB 8.3 or later for standalone and Kubernetes Operator-managed deployments. To learn more, see Compatibility and Requirements for mongot.

• Two Voyage AI API keys.

  インデックス時の埋め込み生成用とクエリ時間用の 2 つの別々のキーを使用します。別々のキーにより、クエリワークロードがインデックスワークロードから分離され、独立したレート制限の計算が可能になります。詳細については、「レート制限」を参照してください。

• mongot から埋め込みエンドポイントとなる接続されたデバイスへのアウトバウンド ネットワーク アクセス。

  The default endpoint is https://ai.mongodb.com/v1/embeddings. This endpoint proxies Voyage AI with MongoDB-managed billing, for keys generated using the Atlas UI. You can also use https://api.voyageai.com/v1/embeddings for direct Voyage AI access if you generated the API key directly from Voyage AI.

手順

docker run \
   -e VOYAGE_API_KEY=<your-voyage-api-key> \
   -p 27017:27017 \
   mongodb/mongodb-atlas-local:preview

docker run \
   -e VOYAGE_API_KEY=<your-voyage-api-key> \
   -e EMBEDDING_PROVIDER_ENDPOINT=https://api.voyageai.com/v1/embeddings \
   -p 27017:27017 \
   mongodb/mongodb-atlas-local:preview

embedding:
  queryKeyFile: /etc/mongot/secrets/voyage-api-query-key
  indexingKeyFile: /etc/mongot/secrets/voyage-api-indexing-key
  providerEndpoint: https://ai.mongodb.com/v1/embeddings

db.movies.createSearchIndex(
  "movie-semantic-index",
  "vectorSearch",
    {
      "fields": [
        {
          "type": "autoEmbed",
          "modality": "text",
          "path": "plot",
          "model": "voyage-4",
          "numDimensions": 1024,
          "similarity": "cosine",
          "indexingMethod": "hnsw",
          "hnswOptions": {
            "maxEdges": 16,
            "numEdgeCandidates": 50
          },
          "quantization": "scalar"
        },
        {
          "type": "filter",
          "path": "genre"
        }
      ]
    }
)

db.movies.aggregate([
  {
    "$vectorSearch": {
      "index": "movie-semantic-index",
      "path":  "plot",
      "query": "a heist gone wrong in a rainy city",
      "model": "voyage-4",
      "numCandidates": 100,
      "limit": 10
    }
  },
  {
    "$project": {
      "_id":   0,
      "title": 1,
      "score": { $meta: "vectorSearchScore" }
    }
  }
])

埋め込みストレージ

mongot クラスター上の専用の内部データベースに埋め込みを持続します。mongot は、ソース コレクションに埋め込みを保存しません。mongot は、ソース テキストから埋め込みを再生成できますが、埋め込み生成には料金が発生します。

埋め込みモデル、出力ディメンション、または量子化の変更は、影響を受けるインデックスの完全な再埋め込みをtriggerします。この場合、埋め込み生成に対する課金が発生します。「mongotが埋め込みを再生成するとき。」を参照してください。

詳細については、「生成された埋め込みコレクション」を参照してください。

When mongot Regenerates Embeddings

mongot 次のいずれかが発生した場合、autoEmbed フィールドの埋め込みを再生成します。

• ドキュメントを挿入します。

• ドキュメントの埋め込みフィールドを変更します。mongot は、変更ストリームを介して変更を検出します。

• インデックス定義で埋め込みモデルを変更します。

• 埋め込み出力の次元またはデータ型を変更します。

• テキストフィールドパスを変更します。

最後の3つの項目のいずれかを変更すると、mongotはインデックス全体をゼロから再構築します。再構築は大規模なコレクションにとっては高コストになる可能性があります。モデルの変更は慎重に計画します。

コストとレート制限

MongoDB では、モデル固有の料金で 100 万トークンごとに課金されます。インデックスの作成コストは、コレクション全体のインデックスフィールドの合計テキスト量に比例します。クエリコストは、クエリテキストの量に比例します。

If you use the Voyage AI API key that you created using your Atlas account, you can view API key usage and rate limits in the Atlas UI. To learn more, see Manage Billing for the Embedding and Reranking API. If you use keys created directly from Voyage AI, you must monitor your usage and rate limits in the Voyage AI dashboard.

Voyage AI 側のレート制限エラーは、mongot ログと、影響を受けたインデックスの失敗したドキュメント指示子として表示されます。これらのエラーによってインデックスが無効になることはありませんが、新しいドキュメントのインデックスの作成が遅延する可能性があります。

失敗モード

制限

自動埋め込みには次の制限が適用されます。

• プレビューステータス。自動埋め込みが一般提供される前に、構成の形状、サポートされるモデル、およびデフォルトのエンドポイントが変更される可能性があります。

• フィールドごとに 1 つの埋め込みモデル。混合モデル インデックスはサポートされていません。

• 埋め込みモデルのフェイルオーバーはありません。Voyage AI エンドポイントに接続できない場合、新しいドキュメントのインデックスの作成が停滞します。

次のステップ

• クロスプラットフォームの概念的な概要については、自動埋め込みの概要を参照してください。

• 完全な mongot 構成の参照については、mongot の構成を参照してください。