Migrar para um novo modelo de incorporação

Identificar um modelo de sucessor

Primeiro, verifique o status do seu modelo atual na tabela Status do Modelo Atual. Se o modelo for Legado ou Preterido, migre para a substituição recomendada que a tabela lista para esse modelo.

Para comparar os modelos disponíveis, consulte Visão geral dos modelos. Para a maioria das migrações, escolha um sucessor entre os seguintes modelos recomendados:

• Texto de uso geral. Use voyage-4-large para a melhor qualidadevoyage-4-lite de recuperação, para a menor latência e custo e voyage-4 para um equilíbrio entre qualidade e desempenho. Para saber mais, consulte Incorporações de texto.

• Código. Use voyage-code-4 para recuperação de código e aplicativos de codificação por agentes, como agentes de codificação e documentação de programação. Para comparar os modelos para domínios especializados, consulte Modelos específicos de domínio.

• Documentos mais longos. Use voyage-context-4 para incorporar chunks que capturam o contexto completo do documento sem metadados manuais ou aumento de contexto. A qualidade da recuperação melhora mais em documentos mais longos. Ele serve como uma substituição para incorporações padrão e não requer alterações no fluxo de trabalho downstream. Para saber mais, consulte Incorporações de chunks contextualizadas.

• Multimodal. Use voyage-multimodal-3.5 para incorporar texto intercalado e dados visuais, como capturas de tela de PDFs, apresentação de gráficos e imagens. Para saber mais, consulte Incorporações multimodais.

Ao escolher entre esses modelos, considere as seguintes características do modelo:

• Modalidade. Migre para um modelo que suporte os mesmos tipos de dados que seu modelo atual. Por exemplo, migre de voyage-multimodal-3 para voyage-multimodal-3.5 em vez de para um modelo somente de texto.

• Incorporando dimensões. Observe o número de dimensões que o modelo sucessor produz. Seu novo índice vetorial deve especificar esse valor.

• Comprimento do contexto. Um comprimento de contexto mais curto do que o seu modelo atual pode truncar seus documentos mais longos. Verifique o comprimento do contexto do modelo sucessor em Visão geral de modelos.

Depois de selecionar um modelo sucessor, avalie sua qualidade de recuperação em uma amostra representativa de seus próprios dados antes de migrar seu corpus de produção.

Migrar com incorporação automatizada

Se você usar a Incorporação automatizada no MongoDB Vector Search, o MongoDB gerenciará a migração para você. Edite sua definição de índice do MongoDB Vector Search e altere o valor do campo model em sua definição de campo do tipo autoEmbed para o modelo sucessor:

{
  "fields": [
    {
      "type": "autoEmbed",
      "modality": "text",
      "path": "<field-name>",
      "model": "<successor-model>"
    }
  ]
}

Quando você altera as configurações do model, numDimensions ou quantization, o MongoDB Vector Search regenera o índice e as incorporações, que incorrem em custos de incorporação adicionais. Enquanto o índice é reconstruído, você pode continuar executando queries em relação à definição de índice antiga. Quando a reconstrução terminar, o MongoDB Vector Search substituirá o índice antigo automaticamente.

Para saber mais sobre como editar um índice, consulte Editar um índice de Vector Search do MongoDB. Para os modelos compatíveis com a incorporação automatizada,consulte Modelos para incorporação automatizada.

Migrar incorporações autogerenciadas

Se você mesmo gerar incorporações, conclua as etapas a seguir para migrar para o modelo sucessor. Para evitar o tempo de inatividade, grave as novas incorporações em um novo campo e mantenha o campo e o índice existentes até que a migração seja concluída.

import os
import voyageai
from pymongo import MongoClient, UpdateOne
SUCCESSOR_MODEL = "<successor-model>"
TEXT_FIELD = "<source-text-field>"
NEW_EMBEDDING_FIELD = "<new-embedding-field>"
BATCH_SIZE = 100
vo = voyageai.Client()
# This automatically uses the VOYAGE_API_KEY environment variable.
client = MongoClient(os.environ["MONGODB_URI"])
collection = client["<database>"]["<collection>"]
def process_batch(documents):
    texts = [document[TEXT_FIELD] for document in documents]
    result = vo.embed(
        texts,
        model=SUCCESSOR_MODEL,
        input_type="document"
    )
    collection.bulk_write([
        UpdateOne(
            {"_id": document["_id"]},
            {"$set": {NEW_EMBEDDING_FIELD: embedding}}
        )
        for document, embedding in zip(documents, result.embeddings)
    ])
batch = []
for document in collection.find({}, {TEXT_FIELD: 1}):
    batch.append(document)
    if len(batch) == BATCH_SIZE:
        process_batch(batch)
        batch = []
if batch:
    process_batch(batch)

{
  "fields": [
    {
      "type": "vector",
      "path": "<new-embedding-field>",
      "numDimensions": "<successor-model-dimensions>",
      "similarity": "dotProduct"
    }
  ]
}

result = vo.embed(
    [query_text],
    model="<successor-model>",
    input_type="query"
)