Migrar para um novo modelo de embedding

Identificar um Modelo Sucessor

Primeiro, verifique o status do seu modelo atual na tabela de status do modelo atual. Se o modelo for legado ou obsoleto, migre para a substituição recomendada que a tabela lista para esse modelo.

Para comparar os modelos disponíveis, consulte Visão geral dos modelos de incorporação e reclassificação do Voyage AI. Para a maioria das migrações, escolha um sucessor entre os seguintes modelos recomendados:

• Texto de uso geral. Use voyage-4-large para a melhor qualidade de recuperação, voyage-4-lite para a menor latência e custo, e voyage-4 para um equilíbrio entre qualidade e desempenho. Para aprender mais, consulte Embeddings de texto.

• Código. Use voyage-code-4 para recuperação de código e aplicativos de codificação agente, como agentes de codificação e documentação de programação. Para comparar os modelos para domínios especializados, consulte Modelos específicos de domínio.

• Documentos mais longos. Use voyage-context-4 para incorporar partes que capturam o contexto completo do documento sem metadados manuais ou aumento de contexto. A qualidade de recuperação melhora mais em documentos mais longos. Serve como um substituto direto para embedding padrão e não exige nenhuma alteração no fluxo de trabalho downstream. Para aprender mais, consulte embedding de parte contextualizado.

• Multimodal. Use voyage-multimodal-3.5 para incorporar texto intercalado e dados visuais, como capturas de tela de PDFs, slides, tabelas e figuras. Para aprender mais, consulte embedding multimodal.

Ao escolher entre esses modelos, considere as seguintes características do modelo:

• Modalidade. Migrar para um modelo que suporte os mesmos tipos de dados que o seu modelo atual. Por exemplo, migrar de voyage-multimodal-3 para voyage-multimodal-3.5 em vez de para um modelo somente de texto.

• Incorporando dimensões. Observe o número de dimensões que o modelo sucessor produz. Seu novo índice vetorial deve especificar esse valor.

• Comprimento do contexto. Um comprimento de contexto mais curto do que o seu modelo atual pode truncar seus documentos mais longos. Verifique o comprimento do contexto do modelo sucessor na Visão geral dos modelos de incorporação e reclassificação do Voyage AI.

Depois de selecionar um modelo sucessor, avalie a qualidade de recuperação em uma amostra representativa de seus próprios dados antes de migrar seu corpus de produção.

Migrar com Embedding automatizado

Se você usar o embedding automatizado no MongoDB Pesquisa Vetorial, o MongoDB gerencia a migração para você. Edite sua definição de índice de pesquisa vetorial do MongoDB e altere o valor do campo model na sua definição de campo do tipo autoEmbed para o modelo sucessor:

{
  "fields": [
    {
      "type": "autoEmbed",
      "modality": "text",
      "path": "<field-name>",
      "model": "<successor-model>"
    }
  ]
}

Quando você altera as configurações model, numDimensions ou quantization, o MongoDB pesquisa vetorial regenera o índice e os embeddings, o que gera custos adicionais de embedding. Durante a reconstrução do índice, você pode continuar a executar queries usando a definição antiga do índice. Quando a reconstrução terminar, o MongoDB pesquisa vetorial substitui o índice antigo automaticamente.

Para saber mais sobre como editar um índice, consulte Editar um índice de Vector Search do MongoDB. Para os modelos compatíveis com a incorporação automatizada,consulte Modelos para incorporação automatizada.

Migrar embedding autogerenciado

Se você mesmo gerar o embedding, conclua as seguintes etapas para migrar para o modelo sucessor. Para evitar interrupções, gravar os novos embedding em um novo campo e mantenha seu campo e índice existentes até que a migração seja concluída.

import os
import voyageai
from pymongo import MongoClient, UpdateOne
SUCCESSOR_MODEL = "<successor-model>"
TEXT_FIELD = "<source-text-field>"
NEW_EMBEDDING_FIELD = "<new-embedding-field>"
BATCH_SIZE = 100
vo = voyageai.Client()
# This automatically uses the VOYAGE_API_KEY environment variable.
client = MongoClient(os.environ["MONGODB_URI"])
collection = client["<database>"]["<collection>"]
def process_batch(documents):
    texts = [document[TEXT_FIELD] for document in documents]
    result = vo.embed(
        texts,
        model=SUCCESSOR_MODEL,
        input_type="document"
    )
    collection.bulk_write([
        UpdateOne(
            {"_id": document["_id"]},
            {"$set": {NEW_EMBEDDING_FIELD: embedding}}
        )
        for document, embedding in zip(documents, result.embeddings)
    ])
batch = []
for document in collection.find({}, {TEXT_FIELD: 1}):
    batch.append(document)
    if len(batch) == BATCH_SIZE:
        process_batch(batch)
        batch = []
if batch:
    process_batch(batch)

{
  "fields": [
    {
      "type": "vector",
      "path": "<new-embedding-field>",
      "numDimensions": "<successor-model-dimensions>",
      "similarity": "dotProduct"
    }
  ]
}

result = vo.embed(
    [query_text],
    model="<successor-model>",
    input_type="query"
)