新しい埋め込みモデルへの移行

継承モデルの特定

まず、 現在のモデルのステータス 表で現在のモデルのステータスを確認します。モデルがレガシーまたは非推奨の場合は、そのモデルの表に記載されている推奨代替に移行します。

利用可能なモデルを比較するには、「 モデルの概要 」を参照してください。ほとんどの移行では、次の推奨モデルから継承を選択します。

• 汎用テキスト。最高の取得品質には voyage-4-large、最低のレイテンシとコストにはvoyage-4-lite voyage-4、品質とパフォーマンスのバランスには を使用します。詳細については、「 テキスト埋め込み 」を参照してください。

• コード。コーディングエージェントやプログラミングドキュメントなど、コード検索とエージェント voyage-code-4コーディング アプリケーションには を使用します。特殊ドメインのモデルを比較するには、「 ドメイン固有のモデル 」を参照してください。

• より長いドキュメント。手動メタデータやコンテキスト認証を行わずに完全なドキュメントコンテキストを取得するチャンクを埋め込むには、 voyage-context-4を使用します。検索品質は、長いドキュメントで最も 改善されます 。標準埋め込みのドロップイン置換として機能するため、下流のワークフローの変更は必要ありません。詳細については、「 コンテキスト付きチャンク埋め込み 」を参照してください。

• マルチモーダル。 voyage-multimodal-3.5PDF、スライド、表、数値のスクリーンショットなど、インターリーブされたテキストと視覚的なデータを埋め込むには、 を使用します。詳細については、「 マルチモーダル埋め込み 」を参照してください。

これらのモデルから選択する場合は、次のモデル特性を考慮してください。

• モーダル。現在のモデルと同じデータ型をサポートするモデルに移行します。例、テキスト専用モデルではなく、voyage-multimodal-3 からvoyage-multimodal-3.5 に移行します。

• 埋め込み次元。継承モデルが生成する次元数に注目してください。新しいベクトルインデックスではその値を指定する必要があります。

• コンテキストの長さ。現在のモデルよりもコンテキストの長さが短い場合、最も長いドキュメントが切り捨てられる可能性があります。 「 モデルの概要 」で、継承モデルのコンテキストの長さを確認します。

継承モデルを選択したら、本番環境のコンパスを移行する前に、独自のデータの一般的なサンプルでその取得品質を評価します。

自動埋め込みによる移行

MongoDB ベクトル検索で 自動埋め込み を使用する場合、 MongoDB が移行を管理します。 MongoDB ベクトル検索インデックスの定義を編集し、autoEmbed 型フィールド定義内の modelフィールドの値を継承モデルに変更します。

{
  "fields": [
    {
      "type": "autoEmbed",
      "modality": "text",
      "path": "<field-name>",
      "model": "<successor-model>"
    }
  ]
}

model、numDimensions、または quantization 設定を変更すると、 MongoDB ベクトル検索 はインデックスと埋め込みを再生成し、埋め込みコストが追加されます。インデックスの再ビルド中も、古いインデックス定義に対してクエリを引き続き実行できます。再構築が完了すると、 MongoDB ベクトル検索 は古いインデックスを自動的に置き換えます。

インデックスの編集 の詳細については、 「 MongoDB ベクトル検索インデックスの編集 」を参照してください。自動埋め込みがサポートするモデルについては、「 自動埋め込みのモデル 」を参照してください。

自己管理型埋め込みの移行

埋め込みを自分で生成する場合は、継承モデルに移行するために次の手順を実行します。ダウンタイムを回避するには、新しい埋め込みを新しいフィールドに書き込み、移行が完了するまで既存のフィールドとインデックスをその場で保持します。

import os
import voyageai
from pymongo import MongoClient, UpdateOne
SUCCESSOR_MODEL = "<successor-model>"
TEXT_FIELD = "<source-text-field>"
NEW_EMBEDDING_FIELD = "<new-embedding-field>"
BATCH_SIZE = 100
vo = voyageai.Client()
# This automatically uses the VOYAGE_API_KEY environment variable.
client = MongoClient(os.environ["MONGODB_URI"])
collection = client["<database>"]["<collection>"]
def process_batch(documents):
    texts = [document[TEXT_FIELD] for document in documents]
    result = vo.embed(
        texts,
        model=SUCCESSOR_MODEL,
        input_type="document"
    )
    collection.bulk_write([
        UpdateOne(
            {"_id": document["_id"]},
            {"$set": {NEW_EMBEDDING_FIELD: embedding}}
        )
        for document, embedding in zip(documents, result.embeddings)
    ])
batch = []
for document in collection.find({}, {TEXT_FIELD: 1}):
    batch.append(document)
    if len(batch) == BATCH_SIZE:
        process_batch(batch)
        batch = []
if batch:
    process_batch(batch)

{
  "fields": [
    {
      "type": "vector",
      "path": "<new-embedding-field>",
      "numDimensions": "<successor-model-dimensions>",
      "similarity": "dotProduct"
    }
  ]
}

result = vo.embed(
    [query_text],
    model="<successor-model>",
    input_type="query"
)