새 임베딩 모델로 마이그레이션

후속 모델 식별

먼저 현재 모델 상태 표에서 현재 모델의 상태를 확인합니다. 모델이 레거시 또는 더 이상 사용되지 않는 경우 표에 해당 모델에 대해 나열된 권장 교체 모델로 마이그레이션 .

사용 가능한 모델을 비교하려면 모델 개요를 참조하세요. 대부분의 마이그레이션의 경우 다음 권장 모델 중에서 후속 모델을 선택하세요.

• 범용 텍스트입니다. voyage-4-large 최상의 검색 품질을 얻으려면 을 사용하고, 지연 시간voyage-4-lite 과 비용 최소화하려면 을,voyage-4 품질과 성능 간의 균형을 맞추려면 를 사용하세요. 자세한 학습 은 텍스트 임베딩을 참조하세요.

• 코드. voyage-code-4 코딩 에이전트 및 프로그래밍 문서와 같은 코드 검색 및 에이전트 코딩 애플리케이션에는 를 사용합니다. 특수 도메인에 대한 모델을 비교하려면 도메인별 모델을 참조하세요.

• 문서길이가 깁니다. 를 사용하여 수동 메타데이터 나 컨텍스트 보강 없이 전체 문서 컨텍스트를 캡처하는 청크를 임베드할 수 있습니다. 긴 문서에서 검색 voyage-context-4 품질이 가장 향상됩니다. 표준 임베딩을 바로 대체하는 역할을 하며 다운스트림 워크플로를 변경할 필요가 없습니다. 자세한 학습 은 상황별 청크 임베딩을 참조하세요.

• 멀티모달. 를 voyage-multimodal-3.5 사용하여 PDF, 슬라이드, 표, 그림의 스크린샷과 같이 인터리브 처리된 텍스트 및 시각 데이터를 포함할 수 있습니다. 자세한 학습 은 멀티모달 임베딩을 참조하세요.

이러한 모델 중에서 선택할 때 다음 모델 특성을 고려하세요.

• 모달리티. 현재 모델과 동일한 데이터 유형을 지원하는 모델로 마이그레이션합니다. 예시 들어 voyage-multimodal-3 에서 텍스트 voyage-multimodal-3.5 전용 모델이 아닌 로 마이그레이션 .

• 차원 포함. 후속 모델이 생성하는 차원의 수를 확인합니다. 새 벡터 인덱스 해당 값을 지정해야 합니다.

• 컨텍스트 길이입니다. 현재 모델보다 컨텍스트 길이가 짧으면 가장 긴 문서가 잘릴 수 있습니다. 모델 개요에서 후속 모델의 컨텍스트 길이를 확인합니다.

후속 모델을 선택한 후에는 프로덕션 코퍼스를 마이그레이션 전에 자체 데이터의 대표 샘플 에서 해당 모델의 검색 품질을 평가하세요.

자동 임베딩으로 마이그레이션

MongoDB Vector Search에서 자동 임베딩을 사용하는 경우 MongoDB 마이그레이션 을 관리합니다. MongoDB Vector Search 인덱스 정의를 편집하고 autoEmbed 유형 필드 정의의 model 필드 값을 후속 모델로 변경합니다.

{
  "fields": [
    {
      "type": "autoEmbed",
      "modality": "text",
      "path": "<field-name>",
      "model": "<successor-model>"
    }
  ]
}

model, numDimensions 또는 quantization 설정을 변경하면 MongoDB Vector Search가 인덱스 와 임베딩을 다시 생성하므로 추가 임베딩 비용이 발생합니다. 인덱스 다시 작성되는 동안 이전 인덱스 정의에 대해 쿼리를 계속 실행 수 있습니다. 재구축이 완료되면 MongoDB Vector Search가 이전 인덱스 자동으로 대체합니다.

인덱스 편집에 대해 자세히 학습 MongoDB 벡터 검색 인덱스 편집을 참조하세요. 자동 임베딩이 지원하는 모델에 대해서는 자동 임베딩을 위한 모델을 참조하세요.

자체 관리형 임베딩 마이그레이션

임베딩을 직접 생성하는 경우 다음 단계를 완료하여 후속 모델로 마이그레이션 . 다운타임을 방지하려면 새 필드 에 새 임베딩을 쓰기 (write) 하고 마이그레이션 완료될 때까지 기존 필드 와 인덱스 제자리에 유지합니다.

import os
import voyageai
from pymongo import MongoClient, UpdateOne
SUCCESSOR_MODEL = "<successor-model>"
TEXT_FIELD = "<source-text-field>"
NEW_EMBEDDING_FIELD = "<new-embedding-field>"
BATCH_SIZE = 100
vo = voyageai.Client()
# This automatically uses the VOYAGE_API_KEY environment variable.
client = MongoClient(os.environ["MONGODB_URI"])
collection = client["<database>"]["<collection>"]
def process_batch(documents):
    texts = [document[TEXT_FIELD] for document in documents]
    result = vo.embed(
        texts,
        model=SUCCESSOR_MODEL,
        input_type="document"
    )
    collection.bulk_write([
        UpdateOne(
            {"_id": document["_id"]},
            {"$set": {NEW_EMBEDDING_FIELD: embedding}}
        )
        for document, embedding in zip(documents, result.embeddings)
    ])
batch = []
for document in collection.find({}, {TEXT_FIELD: 1}):
    batch.append(document)
    if len(batch) == BATCH_SIZE:
        process_batch(batch)
        batch = []
if batch:
    process_batch(batch)

{
  "fields": [
    {
      "type": "vector",
      "path": "<new-embedding-field>",
      "numDimensions": "<successor-model-dimensions>",
      "similarity": "dotProduct"
    }
  ]
}

result = vo.embed(
    [query_text],
    model="<successor-model>",
    input_type="query"
)