Configura mongot para la incrustación automatizada de MongoDB Búsqueda Vectorial

Qué hace la incrustación automatizada

Sin incrustación automatizada, tu aplicación debe:

1. Generar una incrustación para cada documento que inserte o actualice.

2. Almacene esa incrustación junto con el documento en su colección.

3. Genere una incrustación para cada query, utilizando el mismo modelo, en el momento de la query.

4. Envía la query incrustación a $vectorSearch.

Con la incrustación automatizada, mongot gestiona los pasos 1, 2 y 3. Su aplicación:

1. Configura un índice de MongoDB búsqueda vectorial con el tipo de campo autoEmbed para el campo de texto.

2. Inserta y actualiza documentos normalmente.

   mongot lee el campo de texto, genera la incrustación a través del modelo de incrustación configurado y la almacena.

3. Emite $vectorSearch queries con el texto de la query, no una incrustación precalculada.

   mongot genera la incrustación para el texto de la query.

Proveedores de incrustación compatibles

La incrustación automatizada de mongot autogestionada se integra con los modelos de incrustación de Voyage AI.

Usted incurre en costos por la generación de incrustaciones. Para obtener más información, consulte Gestionar la facturación de la incrustación automatizada.

Requisitos previos

Debes cumplir con los siguientes requisitos previos para utilizar la incrustación automatizada:

• mongot 1.70.1 o posterior en una implementación autogestionada (tarball o contenedor de la Community, desarrollo local y Enterprise Edition a través del operador de Kubernetes).

• MongoDB 8.2 o posterior para implementación autónoma, o MongoDB 8.3 o posterior para implementación gestionada por el operador de Kubernetes. Para aprender más, consulte Compatibilidad y requisitos para mongot.

• Dos claves de Voyage AI API.

  Utilice dos claves separadas, una para la generación de incrustaciones en tiempo de índice y otra para el tiempo de query. Las claves separadas aíslan la carga de trabajo de la query de la carga de trabajo de indexación y permiten una contabilidad independiente del límite de cuota. Para obtener más información, consulte Límites de cuota.

• Acceso a la red saliente desde mongot al punto final de incrustación.

  El endpoint por defecto es https://ai.mongodb.com/v1/embeddings. Este endpoint utiliza Voyage AI con facturación gestionada por MongoDB para las claves generadas mediante la interfaz de usuario de Atlas. También puede utilizar https://api.voyageai.com/v1/embeddings para el acceso directo a Voyage AI si generó la clave API directamente desde Voyage AI.

Procedimiento

docker run \
   -e VOYAGE_API_KEY=<your-voyage-api-key> \
   -p 27017:27017 \
   mongodb/mongodb-atlas-local:preview

docker run \
   -e VOYAGE_API_KEY=<your-voyage-api-key> \
   -e EMBEDDING_PROVIDER_ENDPOINT=https://api.voyageai.com/v1/embeddings \
   -p 27017:27017 \
   mongodb/mongodb-atlas-local:preview

embedding:
  queryKeyFile: /etc/mongot/secrets/voyage-api-query-key
  indexingKeyFile: /etc/mongot/secrets/voyage-api-indexing-key
  providerEndpoint: https://ai.mongodb.com/v1/embeddings

db.movies.createSearchIndex(
  "movie-semantic-index",
  "vectorSearch",
    {
      "fields": [
        {
          "type": "autoEmbed",
          "modality": "text",
          "path": "plot",
          "model": "voyage-4",
          "numDimensions": 1024,
          "similarity": "cosine",
          "indexingMethod": "hnsw",
          "hnswOptions": {
            "maxEdges": 16,
            "numEdgeCandidates": 50
          },
          "quantization": "scalar"
        },
        {
          "type": "filter",
          "path": "genre"
        }
      ]
    }
)

db.movies.aggregate([
  {
    "$vectorSearch": {
      "index": "movie-semantic-index",
      "path":  "plot",
      "query": "a heist gone wrong in a rainy city",
      "model": "voyage-4",
      "numCandidates": 100,
      "limit": 10
    }
  },
  {
    "$project": {
      "_id":   0,
      "title": 1,
      "score": { $meta: "vectorSearchScore" }
    }
  }
])

Almacenamiento de incrustaciones

mongot persiste las incrustaciones en una base de datos interna dedicada en el clúster. mongot no almacena incrustaciones en su colección de origen. mongot puede regenerar incrustaciones a partir del texto de origen y se le cobrará por la generación de incrustaciones.

Los cambios en el modelo de incrustación, las dimensiones de salida o la cuantificación activan una reincrustación completa del índice afectado, por lo que se le cobrará por la generación de incrustaciones. Consulte Cuándo mongot regenera las incrustaciones.

Para obtener más información, consulte colección de incrustaciones generadas.

Cuando mongot regenera incrustaciones

mongot regenera las incrustaciones para un campo autoEmbed cuando se produce cualquiera de los siguientes eventos:

• Inserta un documento.

• Cambia el campo incrustado en un documento. mongot detecta el cambio a través de change streams.

• Cambia el modelo de incrustación en la definición del índice.

• Cambia la dimensión de salida de incrustación o el tipo de dato.

• Cambia la ruta de campo.

Si cambia alguno de los tres últimos elementos, mongot reconstruye todo el índice desde cero. La reconstrucción puede ser costosa para colecciones grandes. Planifique los cambios del modelo deliberadamente.

Costo y limitación de tasa

MongoDB cobra por millón de tokens a tarifas específicas del modelo. El costo de indexación es proporcional al volumen total de texto del campo indexado en toda la colección. El costo de la query es proporcional al volumen de texto de la query.

Si utiliza la clave API de Voyage AI que creó con su cuenta Atlas, puede ver el uso de la clave API y los límites de velocidad en la interfaz de usuario de Atlas. Para obtener más información, consulte Gestionar la facturación de la Embedding and Reranking API. Si utiliza claves creadas directamente desde Voyage AI, debe supervisar su uso y los límites de velocidad en el tablero de Voyage AI.

Los errores de límite de velocidad del lado de Voyage AI aparecen en los registros de mongot y como indicadores de documentos fallidos en el índice afectado. Estos errores no deshabilitan el índice, pero pueden retrasar la indexación de nuevos documentos.

Modos de error

Limitaciones

Se aplican las siguientes limitaciones a la incrustación automatizada:

• Estado de vista previa. La forma de configuración, los modelos admitidos y los endpoints por defecto pueden cambiar antes de que la incrustación automatizada esté disponible de forma general.

• Un modelo de incrustación por campo. No se admiten índices de modelos mixtos.

• No hay conmutación por error del modelo de incrustación. Si el punto de conexión de Voyage AI no es accesible, la indexación de nuevos documentos se detiene.

Próximos pasos

• Descripción general de la incrustación automatizada para la descripción general conceptual multiplataforma.

• Configure mongot para obtener la referencia de configuración completa de mongot.