自動埋め込みの概要

自動埋め込みの有効化と使用

1
{
2
  "fields": [
3
    {
4
      "type": "autoEmbed",
5
      "modality": "text",
6
      "path": "<field-to-index>",
7
      "model": "<embedding-model>"
8
    },
9
    {
10
      "type": "filter",
11
      "path": "<field-to-index>"
12
    },
13
    ...
14
  ]
15
}

1
[
2
  {
3
    "$vectorSearch": {
4
      "index": "<index-name>",
5
      "path": "<field-to-index>",
6
      "query": "<query-text>",
7
      "model": "<embedding-model>"
8
    }
9
  },
10
  {
11
    "$project": {
12
      "_id": 0,
13
      "<field-to-index>": 1,
14
      "score": { "$meta": "vectorSearchScore" }
15
    }
16
  }
17
]

埋め込みストレージ

自動埋め込みインデックスはvector embeddingsを非同期に生成し、別の 予約データベース上のMongoDBクラスターに永続化します。各自動埋め込みインデックスには、対応する生成された埋め込みコレクションが 1 つだけあります。生成された埋め込みコレクションは、同じクラスター上の専用の内部データベースに保存されます。

詳細については、生成された埋め込みコレクション を参照してください。

利用可能なモデル

MongoDB Vector Search は、それぞれ特定のユースケースに合わせて最適化された、Voyage AI の最新の埋め込みモデルと統合します。

詳細については、自動埋め込みのmodel を参照してください。

重要な概念

埋め込みモデル

Embedding modelsは、データのセマンティックまたは基礎となる意味を取得するvector embeddingsにデータを変換するアルゴリズムです。これらのベクトルによりベクトル検索が可能になります。

自動埋め込みのembedding modelの詳細については、利用可能なモデルを参照してください。

ベクトル埋め込み

ベクトル埋め込みは数値の配列であり、各次元はデータの異なる機能または属性を表します。ベクトルは、テキスト、画像、ビデオから非構造化データまで、任意のタイプのデータを表すために使用できます。埋め込みモデルにデータを渡すことでベクトル埋め込みを作成し、これらの埋め込みをMongoDBのようなベクトル埋め込みをサポートするデータベースに保存できます。

自動埋め込みの埋め込みストレージの詳細については、生成された埋め込みコレクション を参照してください。

tokens

埋め込みモデルと LVM のコンテキストでは、トークンとは、埋め込みの作成やテキストの生成のためにモデルが処理する単語、サブワード、文字などのテキストの基本単位です。トークンは、埋め込みモデルと LM の使用量に対して課金される方法を示します。

自動埋め込みのトークンの詳細については、自動埋め込みの請求の管理 を参照してください。

レート制限

レート制限は、ユーザーが特定の時間枠内で実行できるリクエスト数に対してAPIプロバイダーによって課せられる制限であり、1 分あたりのトークン（TPM）または 1 分あたりのリクエスト数（RPM）で測定されます。これらの制限により、均等な使用が確保され、不正を防ぎ、すべてのユーザーに対してサービスの安定性とパフォーマンスが維持されます。

自動埋め込みのレート制限の詳細については、レート制限を参照してください。

量子化

Quantizationによりvector embeddingsの精度が低下することで、メモリとストレージの使用量が削減されますが、検索精度がトレードオフされます。自動埋め込みの場合、 MongoDB ベクトル検索 は次の quantization タイプをサポートします。

Quantization タイプ	説明
float	vector embeddingsを 32 ビットのfloat値として保存します。
scalar	各ベクトル次元を 32 ビット float から 8 ビット整数に縮小します。
binary	各ベクトルdimensionsを 1 ビットに縮小し、上位結果を再スコア付けします。
binaryNoRescore	各ベクトルdimensionsを再スコアリングせずに 1 ビットに縮小します。

自動埋め込みのquantizationの詳細については、quantizationについてを参照してください。

次元数

次元数は、各documentの埋め込みベクトルの長さ（配列内の数値の数）を指定します。dimensionsが大きいほど、よりセマンティックな詳細がキャプチャされ、一般的に検索精度が向上しますが、ストレージとコンピューティングのコスト（インデックスサイズ、 RAM使用量、場合によってはレイテンシ）が増加します。

詳しくは、「 numCandidates 選択 」を参照してください。

類似性

類似性関数は、2 つのベクトル間の類似性、またはクエリベクトルがインデックス内のベクトルに近接していることを測定するために使用されます。MongoDB ベクトル検索 は次の類似性関数をサポートしています。

• cosine - ベクトル間の角度に基づいて類似性を測定します。

• dotProduct - は cosine と同様の類似性を測定しますが、ベクトルの大きさを考慮します。この類似性関数は、フル忠実度または scalar quantization に推奨されます。

• euclidean - ベクトルの端点間の距離を測定します。この類似度関数は、ベクトルが圧縮され、アセットまたはユークリッド空間の距離が適切なシグナルである、binary または binaryNoRescore の quantization に推奨します。

自動埋め込みの類似性関数の詳細については、類似性関数についてを参照してください。