Descripción general de la incrustación automatizada

Habilitar y utilizar la incrustación automatizada

1
{
2
  "fields": [
3
    {
4
      "type": "autoEmbed",
5
      "modality": "text",
6
      "path": "<field-to-index>",
7
      "model": "<embedding-model>"
8
    },
9
    {
10
      "type": "filter",
11
      "path": "<field-to-index>"
12
    },
13
    ...
14
  ]
15
}

1
[
2
  {
3
    "$vectorSearch": {
4
      "index": "<index-name>",
5
      "path": "<field-to-index>",
6
      "query": "<query-text>",
7
      "model": "<embedding-model>"
8
    }
9
  },
10
  {
11
    "$project": {
12
      "_id": 0,
13
      "<field-to-index>": 1,
14
      "score": { "$meta": "vectorSearchScore" }
15
    }
16
  }
17
]

Almacenamiento de incrustaciones

Los índices de incrustación automatizada generan incrustaciones vectoriales de forma asíncrona y las almacenan en una base de datos de reserva independiente en su clúster de MongoDB. Cada índice de incrustación automatizada tiene exactamente una colección de incrustaciones generadas correspondiente. Esta colección se almacena en una base de datos interna dedicada en el mismo clúster.

Para obtener más información, consulte la Colección de incrustaciones generadas.

Modelos disponibles

MongoDB Vector Search se integra con los modelos de incrustaciones de última generación de Voyage AI, cada uno optimizado para un caso de uso específico:

Para obtener más información, consulte Modelos para la incrustación automatizada.

Conceptos clave

modelo de incrustación

Los modelos de incrustación son algoritmos que convierten datos en incrustaciones vectoriales que capturan el significado semántico o subyacente de los datos. Estos vectores permiten realizar búsquedas vectoriales.

Para obtener más información sobre los modelos de incrustación para la incrustación automatizada, consulte Modelos disponibles.

embeddings vectoriales

Una incrustación vectorial es un arreglo de números, siendo cada dimensión la representación de una funcionalidad o atributo diferente de sus datos. Los vectores se pueden utilizar para representar cualquier tipo de datos, desde texto, imágenes y videos hasta datos no estructurados. Crea representaciones vectoriales pasando tus datos por un modelo de representaciones, y puedes almacenar estas representaciones en una base de datos que soporte representaciones vectoriales como MongoDB.

Para obtener más información sobre el almacenamiento de incrustaciones para la incrustación automatizada, consulte la sección "Recopilación de incrustaciones generadas".

tokens

En el contexto de los modelos de embebido y los LLM, los tokens son las unidades fundamentales de texto, como palabras, subpalabras o caracteres, que el modelo procesa para crear embebidos o generar texto. Los tokens son la forma en que se le factura por el uso de modelos de incrustación y LLMs.

Para obtener más información sobre los tokens para la incrustación automatizada, consulte la sección "Gestionar la facturación para la incrustación automatizada".

límites de velocidad

Los límites de tasa son restricciones impuestas por los proveedores de API respecto a la cantidad de solicitudes que un usuario puede realizar en un período de tiempo específico, a menudo medidos en tokens por minuto (TPM) o solicitudes por minuto (RPM). Estos límites garantizan un uso equitativo, previenen abusos y mantienen la estabilidad y el rendimiento del servicio para todos los usuarios.

Para obtener más información sobre los límites de velocidad para la incrustación automatizada, consulte Límites de velocidad.

cuantización

La cuantización reduce la precisión de las incrustaciones vectoriales para disminuir el uso de memoria y almacenamiento, con la consiguiente pérdida de precisión en la búsqueda. Para la incrustación automatizada, MongoDB Vector Search admite los siguientes tipos de cuantización:

Tipo de cuantificación	Descripción
float	Almacena las incrustaciones vectoriales como valores flotantes de 32bits.
scalar	Reduce cada dimensión del vector de un número flotante de 32bits a un número entero de 8bits.
binary	Reduce cada dimensión del vector a un solo bit y vuelve a puntuar los mejores resultados.
binaryNoRescore	Reduce cada dimensión del vector a un solo bit sin recalcular la puntuación.

Para obtener más información sobre la cuantización para la incrustación automatizada, consulte la sección Acerca de la cuantización.

número de dimensiones

El número de dimensiones especifica la longitud del vector de incrustación para cada documento (cuántos números contiene la matriz). Un mayor número de dimensiones captura más detalles semánticos y, por lo general, mejora la precisión de la recuperación, pero aumenta los costos de almacenamiento y procesamiento (tamaño del índice, uso de RAM y, en ocasiones, latencia).

Para obtener más información, consulte numCandidates Selección.

semejanza

La función de similitud se utiliza para medir la similitud entre dos vectores o la proximidad de un vector de consulta a los vectores del índice. MongoDB Vector Search admite las siguientes funciones de similitud:

• cosine - mide la similitud basándose en el ángulo entre vectores.

• dotProduct - Mide la similitud como cosine, pero tiene en cuenta la magnitud del vector. Recomendamos esta función de similitud para la cuantización de fidelidad completa o scalar.

• euclidean - mide la distancia entre los extremos de los vectores. Recomendamos esta función de similitud para la cuantización binary o binaryNoRescore, donde los vectores están comprimidos y la distancia en el espacio de Hamming o euclidiano es la señal adecuada.

Para obtener más información sobre las funciones de similitud para la incrustación automatizada, consulte la sección Acerca de las funciones de similitud.