Migrar a un nuevo modelo de incrustación

Identificar un modelo sucesor

Primero, comprueba el estado de tu modelo actual en la tabla Estado del modelo actual. Si el modelo es heredado/heredada o está obsoleto, migra al reemplazo recomendado que la tabla enumera para ese modelo.

Para comparar los modelos disponibles, consulte Visión general de los modelos. Para la mayoría de las migraciones, elija un sucesor de los siguientes modelos recomendados:

• Texto de propósito general. Utilice voyage-4-large para obtener la mejor calidad de recuperación, voyage-4-lite para la latencia y el costo más bajos, y voyage-4 para lograr un equilibrio entre calidad y rendimiento. Para aprender más, consulte Incrustaciones de texto.

• Código. Utilice voyage-code-4 para la recuperación de código y aplicaciones de codificación de agentes, como agentes de codificación y documentación de programación. Para comparar los modelos para dominios especializados, consulte Modelos específicos de dominio.

• Documentos más largos. Utilice voyage-context-4 para incrustar fragmentos que capturen el contexto completo del documento sin metadatos manuales ni aumento del contexto. La calidad de la recuperación mejora más en documentos más largos. Sirve como reemplazo directo de las incrustaciones estándar y no requiere cambios en el flujo de trabajo posterior. Para aprender más información, consulte incrustaciones de fragmentos contextualizados.

• Multimodal. Utilice voyage-multimodal-3.5 para insertar texto y datos visuales intercalados, como capturas de pantalla de archivos PDF, diapositivas, tablas y figuras. Para aprender más información, consulte la sección de Incrustaciones Multimodales.

Cuando elija entre estos modelos, tenga en cuenta las siguientes características del modelo:

• Modalidad. Migra a un modelo que admita los mismos tipos de datos que tu modelo actual. Por ejemplo, migra de voyage-multimodal-3 a voyage-multimodal-3.5 en lugar de a un modelo de solo texto.

• Dimensiones de incrustación. Tenga en cuenta el número de dimensiones que produce el modelo sucesor. Su nuevo índice de vectores debe especificar ese valor.

• Longitud del contexto. Una longitud de contexto más corta que su modelo actual puede truncar sus documentos más largos. Verifique la longitud del contexto del modelo sucesor en Descripción general de los modelos.

Después de seleccionar un modelo sucesor, evalúe su calidad de recuperación en una muestra representativa de sus propios datos antes de migrar su corpus de producción.

Migrar con incrustación automatizada

Si utiliza la incrustación automatizada en la búsqueda vectorial de MongoDB, MongoDB gestiona la migración por usted. Edite la definición de su índice de búsqueda vectorial de MongoDB y cambie el valor del campo model en la definición de campo de tipo autoEmbed al modelo sucesor:

{
  "fields": [
    {
      "type": "autoEmbed",
      "modality": "text",
      "path": "<field-name>",
      "model": "<successor-model>"
    }
  ]
}

Cuando cambias la configuración de model, numDimensions o quantization, MongoDB búsqueda vectorial vuelve a generar el índice y las incrustaciones, lo que conlleva costo adicional de incrustación. Mientras se vuelve a compilar el índice, puedes seguir ejecutando queries con la antigua definición del índice. Cuando finaliza la recompilación, MongoDB Búsqueda vectorial reemplaza automáticamente el índice antiguo.

Para obtener más información sobre la edición de un índice, consulte Editar un índice de búsqueda vectorial de MongoDB. Para los modelos compatibles con la incrustación automatizada, consulte Modelos para incrustación automatizada.

Migrar incrustaciones autogestionadas

Si genera incrustaciones usted mismo, complete los siguientes pasos para migrar al modelo sucesor. Para evitar el tiempo de inactividad, guarde las nuevas incrustaciones en un nuevo campo y mantenga su campo e índice existentes en su lugar hasta que se complete la migración.

import os
import voyageai
from pymongo import MongoClient, UpdateOne
SUCCESSOR_MODEL = "<successor-model>"
TEXT_FIELD = "<source-text-field>"
NEW_EMBEDDING_FIELD = "<new-embedding-field>"
BATCH_SIZE = 100
vo = voyageai.Client()
# This automatically uses the VOYAGE_API_KEY environment variable.
client = MongoClient(os.environ["MONGODB_URI"])
collection = client["<database>"]["<collection>"]
def process_batch(documents):
    texts = [document[TEXT_FIELD] for document in documents]
    result = vo.embed(
        texts,
        model=SUCCESSOR_MODEL,
        input_type="document"
    )
    collection.bulk_write([
        UpdateOne(
            {"_id": document["_id"]},
            {"$set": {NEW_EMBEDDING_FIELD: embedding}}
        )
        for document, embedding in zip(documents, result.embeddings)
    ])
batch = []
for document in collection.find({}, {TEXT_FIELD: 1}):
    batch.append(document)
    if len(batch) == BATCH_SIZE:
        process_batch(batch)
        batch = []
if batch:
    process_batch(batch)

{
  "fields": [
    {
      "type": "vector",
      "path": "<new-embedding-field>",
      "numDimensions": "<successor-model-dimensions>",
      "similarity": "dotProduct"
    }
  ]
}

result = vo.embed(
    [query_text],
    model="<successor-model>",
    input_type="query"
)