Configure mongot para la incrustación automatizada de MongoDB Búsqueda vectorial

Qué hace la incrustación automatizada

Sin incrustación automatizada, tu aplicación debe:

1. Generar una incrustación para cada documento que inserte o actualice.

2. Almacene esa incrustación junto con el documento en su colección.

3. Genere una incrustación para cada query, utilizando el mismo modelo, en el momento de la query.

4. Envía la query incrustación a $vectorSearch.

Con la incrustación automatizada, mongot gestiona los pasos 1, 2 y 3. Su aplicación:

1. Configura un índice de MongoDB búsqueda vectorial con el tipo de campo autoEmbed para el campo de texto.

2. Inserta y actualiza documentos normalmente.

   mongot lee el campo de texto, genera la incrustación a través del modelo de incrustación configurado y la almacena.

3. Emite $vectorSearch queries con el texto de la query, no una incrustación precalculada.

   mongot genera la incrustación para el texto de la query.

Proveedores de incrustación compatibles

La incrustación automatizada de mongot autogestionada se integra con los modelos de incrustación de Voyage AI.

Usted incurre en costos por la generación de incrustaciones. Para obtener más información, consulte Gestionar la facturación de la incrustación automatizada.

Requisitos previos

Debes cumplir con los siguientes requisitos previos para utilizar la incrustación automatizada:

• mongot 1.70.1 o posterior en una implementación autogestionada (tarball o contenedor de la Community, desarrollo local y Enterprise Edition a través del operador de Kubernetes).

• MongoDB 8.3 o posterior para implementaciones autónomos y gestionadas por el operador de Kubernetes. Para obtener más información, consulte Compatibilidad y requisitos mongot para.

• Two Voyage AI API keys.

  Utilice dos claves separadas, una para la generación de incrustaciones en tiempo de índice y otra para el tiempo de query. Las claves separadas aíslan la carga de trabajo de la query de la carga de trabajo de indexación y permiten una contabilidad independiente del límite de cuota. Para obtener más información, consulte Límites de cuota.

• Acceso a la red saliente desde mongot al punto final de incrustación.

  The default endpoint is https://ai.mongodb.com/v1/embeddings. This endpoint proxies Voyage AI with MongoDB-managed billing, for keys generated using the Atlas UI. You can also use https://api.voyageai.com/v1/embeddings for direct Voyage AI access if you generated the API key directly from Voyage AI.

Procedimiento

docker run \
   -e VOYAGE_API_KEY=<your-voyage-api-key> \
   -p 27017:27017 \
   mongodb/mongodb-atlas-local:preview

docker run \
   -e VOYAGE_API_KEY=<your-voyage-api-key> \
   -e EMBEDDING_PROVIDER_ENDPOINT=https://api.voyageai.com/v1/embeddings \
   -p 27017:27017 \
   mongodb/mongodb-atlas-local:preview

embedding:
  queryKeyFile: /etc/mongot/secrets/voyage-api-query-key
  indexingKeyFile: /etc/mongot/secrets/voyage-api-indexing-key
  providerEndpoint: https://ai.mongodb.com/v1/embeddings

db.movies.createSearchIndex(
  "movie-semantic-index",
  "vectorSearch",
    {
      "fields": [
        {
          "type": "autoEmbed",
          "modality": "text",
          "path": "plot",
          "model": "voyage-4",
          "numDimensions": 1024,
          "similarity": "cosine",
          "indexingMethod": "hnsw",
          "hnswOptions": {
            "maxEdges": 16,
            "numEdgeCandidates": 50
          },
          "quantization": "scalar"
        },
        {
          "type": "filter",
          "path": "genre"
        }
      ]
    }
)

db.movies.aggregate([
  {
    "$vectorSearch": {
      "index": "movie-semantic-index",
      "path":  "plot",
      "query": "a heist gone wrong in a rainy city",
      "model": "voyage-4",
      "numCandidates": 100,
      "limit": 10
    }
  },
  {
    "$project": {
      "_id":   0,
      "title": 1,
      "score": { $meta: "vectorSearchScore" }
    }
  }
])

Almacenamiento de incrustaciones

mongot persiste las incrustaciones en una base de datos interna dedicada en el clúster. mongot no almacena incrustaciones en su colección de origen. mongot puede regenerar incrustaciones a partir del texto de origen y se le cobrará por la generación de incrustaciones.

Los cambios en el modelo de incrustación, las dimensiones de salida o la cuantificación activan una reincrustación completa del índice afectado, por lo que se le cobrará por la generación de incrustaciones. Consulte Cuándo mongot regenera las incrustaciones.

Para obtener más información, consulte colección de incrustaciones generadas.

Cuando mongot regenera incrustaciones

mongot regenera las incrustaciones para un campo autoEmbed cuando se produce cualquiera de los siguientes eventos:

• Inserta un documento.

• Cambia el campo incrustado en un documento. mongot detecta el cambio a través de change streams.

• Cambia el modelo de incrustación en la definición del índice.

• Cambia la dimensión de salida de incrustación o el tipo de dato.

• Cambia la ruta de campo.

Si cambia alguno de los tres últimos elementos, mongot reconstruye todo el índice desde cero. La reconstrucción puede ser costosa para colecciones grandes. Planifique los cambios del modelo deliberadamente.

Costo y limitación de tasa

MongoDB cobra por millón de tokens a tarifas específicas del modelo. El costo de indexación es proporcional al volumen total de texto del campo indexado en toda la colección. El costo de la query es proporcional al volumen de texto de la query.

If you use the Voyage AI API key that you created using your Atlas account, you can view API key usage and rate limits in the Atlas UI. To learn more, see Manage Billing for the Embedding and Reranking API. If you use keys created directly from Voyage AI, you must monitor your usage and rate limits in the Voyage AI dashboard.

Los errores de límite de velocidad del lado de Voyage AI aparecen en los registros de mongot y como indicadores de documentos fallidos en el índice afectado. Estos errores no deshabilitan el índice, pero pueden retrasar la indexación de nuevos documentos.

Modos de error

Limitaciones

Se aplican las siguientes limitaciones a la incrustación automatizada:

• Estado de vista previa. La forma de configuración, los modelos admitidos y los endpoints por defecto pueden cambiar antes de que la incrustación automatizada esté disponible de forma general.

• Un modelo de incrustación por campo. No se admiten índices de modelos mixtos.

• No hay conmutación por error del modelo de incrustación. Si el punto de conexión de Voyage AI no es accesible, la indexación de nuevos documentos se detiene.

Próximos pasos

• Descripción general de la incrustación automatizada para la descripción general conceptual multiplataforma.

• Configure mongot para obtener la referencia de configuración completa de mongot.