MongoDB ベクトル検索 の自動埋め込み用に mongot を構成する

自動埋め込みの機能

自動埋め込みを使用しない場合、アプリケーションは次のことを行います。

1. 挿入または更新する各ドキュメントの埋め込みを生成します。

2. この埋め込みをコレクション内のドキュメントと一緒に保存します。

3. クエリ時に同じモデルを使用して、すべてのクエリの埋め込みを生成します。

4. クエリ埋め込みを $vectorSearch に提出します。

自動型埋め込みでは、mongot がステップ 1、2、3 を取り扱います。アプリケーション:

1. テキスト フィールドの autoEmbed フィールド タイプを使用して MongoDB ベクトル検索インデックスを構成します。

2. ドキュメントを通常に挿入および更新します。

   mongot テキスト フィールドを読み取り、構成された埋め込みモデルを介して埋め込みを生成して保存します。

3. 事前計算された埋め込みではなく、クエリ テキストで $vectorSearch クエリを発行します。

   mongot クエリテキストの埋め込みを生成します。

サポートされている埋め込みプロバイダー

自己管理型 mongot 自動埋め込みは、Voyage AI 埋め込みモデルと統合されています。

埋め込み生成にはコストが発生します。詳しくは、自動埋め込みの請求を管理する を参照してください。

前提条件

Automated 埋め込みを使用するには、以下の前提条件を満たしている必要があります：

• mongot 自己管理型配置（Community tarballまたはコンテナ、ローカル開発、およびKubernetes Operatorを通じたエンタープライズ版）における1.70.1以降。

• スタンドアロン配置の場合は MongoDB 8.2 以降、Kubernetes 演算子 マネージド配置の場合は MongoDB 8.3 以降。詳細については、「mongot の互換性と要件」を参照してください。

• 2 つの Voyage AI API キー。

  インデックス時の埋め込み生成用とクエリ時間用の 2 つの別々のキーを使用します。別々のキーにより、クエリワークロードがインデックスワークロードから分離され、独立したレート制限の計算が可能になります。詳細については、「レート制限」を参照してください。

• mongot から埋め込みエンドポイントとなる接続されたデバイスへのアウトバウンド ネットワーク アクセス。

  デフォルトのエンドポイントは https://ai.mongodb.com/v1/embeddings です。このエンドポイントは、Atlas UI を使用して生成されたキーのために、MongoDB マネージド課金で Voyage AI のプロキシを実行します。Voyage AI から直接 API キーを生成した場合は、https://api.voyageai.com/v1/embeddings を使用して Voyage AI に直接アクセスすることもできます。

手順

docker run \
   -e VOYAGE_API_KEY=<your-voyage-api-key> \
   -p 27017:27017 \
   mongodb/mongodb-atlas-local:preview

docker run \
   -e VOYAGE_API_KEY=<your-voyage-api-key> \
   -e EMBEDDING_PROVIDER_ENDPOINT=https://api.voyageai.com/v1/embeddings \
   -p 27017:27017 \
   mongodb/mongodb-atlas-local:preview

embedding:
  queryKeyFile: /etc/mongot/secrets/voyage-api-query-key
  indexingKeyFile: /etc/mongot/secrets/voyage-api-indexing-key
  providerEndpoint: https://ai.mongodb.com/v1/embeddings

db.movies.createSearchIndex(
  "movie-semantic-index",
  "vectorSearch",
    {
      "fields": [
        {
          "type": "autoEmbed",
          "modality": "text",
          "path": "plot",
          "model": "voyage-4",
          "numDimensions": 1024,
          "similarity": "cosine",
          "indexingMethod": "hnsw",
          "hnswOptions": {
            "maxEdges": 16,
            "numEdgeCandidates": 50
          },
          "quantization": "scalar"
        },
        {
          "type": "filter",
          "path": "genre"
        }
      ]
    }
)

db.movies.aggregate([
  {
    "$vectorSearch": {
      "index": "movie-semantic-index",
      "path":  "plot",
      "query": "a heist gone wrong in a rainy city",
      "model": "voyage-4",
      "numCandidates": 100,
      "limit": 10
    }
  },
  {
    "$project": {
      "_id":   0,
      "title": 1,
      "score": { $meta: "vectorSearchScore" }
    }
  }
])

埋め込みストレージ

mongot クラスター上の専用の内部データベースに埋め込みを持続します。mongot は、ソース コレクションに埋め込みを保存しません。mongot は、ソース テキストから埋め込みを再生成できますが、埋め込み生成には料金が発生します。

埋め込みモデル、出力ディメンション、または量子化の変更は、影響を受けるインデックスの完全な再埋め込みをtriggerします。この場合、埋め込み生成に対する課金が発生します。「mongotが埋め込みを再生成するとき。」を参照してください。

詳細については、「生成された埋め込みコレクション」を参照してください。

mongot が埋め込みを再生成するとき

mongot 次のいずれかが発生した場合、autoEmbed フィールドの埋め込みを再生成します。

• ドキュメントを挿入します。

• ドキュメントの埋め込みフィールドを変更します。mongot は、変更ストリームを介して変更を検出します。

• インデックス定義で埋め込みモデルを変更します。

• 埋め込み出力の次元またはデータ型を変更します。

• テキストフィールドパスを変更します。

最後の3つの項目のいずれかを変更すると、mongotはインデックス全体をゼロから再構築します。再構築は大規模なコレクションにとっては高コストになる可能性があります。モデルの変更は慎重に計画します。

コストとレート制限

MongoDB では、モデル固有の料金で 100 万トークンごとに課金されます。インデックスの作成コストは、コレクション全体のインデックスフィールドの合計テキスト量に比例します。クエリコストは、クエリテキストの量に比例します。

Atlas アカウントを使用して作成した Voyage AI API キーを使用する場合は、Atlas UI で API キーの使用状況とレート制限を表示できます。詳しくは、Embedding and Reranking API の請求を管理するを参照してください。Voyage AI から直接作成されたキーを使用する場合は、Voyage AI ダッシュボードで使用状況とレート制限をモニターする必要があります。

Voyage AI 側のレート制限エラーは、mongot ログと、影響を受けたインデックスの失敗したドキュメント指示子として表示されます。これらのエラーによってインデックスが無効になることはありませんが、新しいドキュメントのインデックスの作成が遅延する可能性があります。

失敗モード

制限

自動埋め込みには次の制限が適用されます。

• プレビューステータス。自動埋め込みが一般提供される前に、構成の形状、サポートされるモデル、およびデフォルトのエンドポイントが変更される可能性があります。

• フィールドごとに 1 つの埋め込みモデル。混合モデル インデックスはサポートされていません。

• 埋め込みモデルのフェイルオーバーはありません。Voyage AI エンドポイントに接続できない場合、新しいドキュメントのインデックスの作成が停滞します。

次のステップ

• クロスプラットフォームの概念的な概要については、自動埋め込みの概要を参照してください。

• 完全な mongot 構成の参照については、mongot の構成を参照してください。