Visão geral do embedding automatizado

Habilitar e usar o embedding automatizado

1
{
2
  "fields": [
3
    {
4
      "type": "autoEmbed",
5
      "modality": "text",
6
      "path": "<field-to-index>",
7
      "model": "<embedding-model>"
8
    },
9
    {
10
      "type": "filter",
11
      "path": "<field-to-index>"
12
    },
13
    ...
14
  ]
15
}

1
[
2
  {
3
    "$vectorSearch": {
4
      "index": "<index-name>",
5
      "path": "<field-to-index>",
6
      "query": "<query-text>",
7
      "model": "<embedding-model>"
8
    }
9
  },
10
  {
11
    "$project": {
12
      "_id": 0,
13
      "<field-to-index>": 1,
14
      "score": { "$meta": "vectorSearchScore" }
15
    }
16
  }
17
]

Armazenamento de incorporações

Índices de incorporação automatizados geram vector embeddings de forma assíncrona e persistem no cluster MongoDB em um banco de dados de reserva separado. Cada índice de embedding Automatizada tem exatamente uma Coleção de embeddings gerada correspondente. A coleção de incorporações gerada é armazenada em um banco de dados interno dedicado no mesmo cluster.

Para aprender mais, consulte Coleção de incorporações geradas.

Modelos disponíveis

O MongoDB Vector Search se integra aos modelos de incorporação de última geração da Voyage IA, cada um otimizado para casos de uso específicos:

Para aprender mais, consulte Models para embedding automatizada.

Conceitos chave

modelo de incorporação

Embedding models são algoritmos que convertem dados em vector embeddings que capturam o significado semântica ou subjacente dos dados. Estes vetores habilitam a pesquisa vetorial.

Para saber mais sobre os modelos de incorporação para incorporação automatizada, consulte Modelos disponíveis.

incorporações de vetor

Uma incorporação de vetor é uma array de números, com cada dimensão representando uma funcionalidade ou atributo diferente de seus dados. Os vetores podem ser usados para representar qualquer tipo de dados, de texto, imagens e vídeo a dados não estruturados. Você cria incorporações vetoriais passando seus dados por um modelo de incorporação e pode armazenar essas incorporações em um banco de dados que oferece suporte a incorporações vetoriais, como o MongoDB.

Para aprender mais sobre o armazenamento de embeddings para Automated Embedding, consulte Coleção de embeddings gerada.

tokens

No contexto de modelos de embedding e LLMs, os tokens são as unidades fundamentais de texto, como palavras, subpalavras ou caracteres que o modelo processa para criar embeddings ou gerar texto. Os tokens são como você é cobrado pelo uso de modelos de embedding e LLMs.

Para aprender mais sobre tokens para Automated embedding, consulte Gerenciar Faturamento para Automated embedding.

limites de taxa

Os limites de taxa são restrições impostas pelos fornecedores de API sobre o número de solicitações que um usuário pode fazer dentro de um período de tempo específico, geralmente medido em tokens por minuto (TPM) ou solicitações por minuto (RPM). Esses limites garantem o uso leal, evitam violações e mantêm a estabilidade e o desempenho do serviço para todos os usuários.

Para saber mais sobre os limites de taxa de Automated embedding, consulte Limites de taxa.

quantização

A quantization reduz a precisão das vector embeddings para diminuir o uso de memória e armazenamento, com desvantagens na precisão da pesquisa. Para Automated embedding, o MongoDB Vector Search suporta os seguintes tipos de quantization:

Quantization Type	Descrição
float	Armazena as vector embeddings como valores float de 32bits.
scalar	Reduz cada vector dimension de 32-bit float para 8-bit inteiros.
binary	Reduz cada dimensions para um único bit e redefine os principais resultados.
binaryNoRescore	Reduz cada vector dimensions para um único bit sem reclassificar.

Para saber mais sobre a quantization para Automated embedding, consulte Sobre a quantization.

número de dimensões

O número de dimensions especifica o comprimento do vetor de embedding para cada document ( quantos números estão na array ). Higher dimensions capturam mais detalhes semânticas e, em geral, melhoram a precisão da recuperação, mas aumentam os custos de armazenamento e computação (tamanho do índice, uso de RAM e, às vezes, latência).

Para saber mais, consulte SeleçãonumCandidates .

similaridade

A função de similaridade é utilizada para medir a similaridade entre dois vetores ou a proximidade de um vetor de query dos vetores no índice. O MongoDB pesquisa vetorial oferece suporte às seguintes funções de similaridade:

• cosine - mede a similaridade com base no ângulo entre os vetores. Recomendamos esta função de similaridade para vetores não normalizados, como a quantização scalar.

• dotProduct - mede a similaridade como cosine, mas leva em consideração a magnitude do vetor. Recomendamos esta função de similaridade para vetores normalizados como quantização float (fidelidade total).

• euclidean - mede a distância entre as extremidades dos vetores. Recomendamos esta função de similaridade para quantization binary ou binaryNoRescore, onde os vetores são compactados e a distância no espaço Hamming ou Euclideano é o sinal correto.

Para aprender mais sobre as funções de similaridade da Automated embedding, consulte Sobre as funções de similaridade.