Visão geral da incorporação automatizada

Habilitar e usar a incorporação automatizada

1
{
2
  "fields": [
3
    {
4
      "type": "autoEmbed",
5
      "modality": "text",
6
      "path": "<field-to-index>",
7
      "model": "<embedding-model>"
8
    },
9
    {
10
      "type": "filter",
11
      "path": "<field-to-index>"
12
    },
13
    ...
14
  ]
15
}

1
[
2
  {
3
    "$vectorSearch": {
4
      "index": "<index-name>",
5
      "path": "<field-to-index>",
6
      "query": "<query-text>",
7
      "model": "<embedding-model>"
8
    }
9
  },
10
  {
11
    "$project": {
12
      "_id": 0,
13
      "<field-to-index>": 1,
14
      "score": { "$meta": "vectorSearchScore" }
15
    }
16
  }
17
]

Armazenamento de incorporações

Índices de incorporação automatizados geram incorporações vetoriais de forma assíncrona e persistem no cluster MongoDB em um banco de dados de reserva separado . Cada índice de Incorporação Automatizada tem exatamente uma Coleção de Incorporações gerada correspondente. A coleção de incorporações gerada é armazenada em um banco de dados interno dedicado no mesmo cluster.

Para saber mais, consulte Coleção de incorporações geradas.

Modelos disponíveis

O MongoDB Vector Search se integra aos modelos de incorporação de última geração da Voyage IA, cada um otimizado para casos de uso específicos:

Para saber mais, consulte Modelos para incorporação automatizada.

Conceitos chave

modelo de incorporação

Os modelos de incorporação são algoritmos que convertem dados em incorporações vetoriais que capturam o significado semântica ou subjacente dos dados. Estes vetores habilitam a pesquisa vetorial.

Para saber mais sobre os modelos de incorporação para incorporação automatizada, consulte Modelos disponíveis.

incorporações de vetor

Uma incorporação de vetor é uma array de números, com cada dimensão representando uma funcionalidade ou atributo diferente de seus dados. Os vetores podem ser usados para representar qualquer tipo de dados, de texto, imagens e vídeo a dados não estruturados. Você cria incorporações vetoriais passando seus dados por um modelo de incorporação e pode armazenar essas incorporações em um banco de dados que oferece suporte a incorporações vetoriais, como o MongoDB.

Para saber mais sobre o armazenamento de incorporações para incorporação automatizada, consulte Coleção de incorporações gerada.

tokens

No contexto de modelos incorporados e LLMs, os tokens são as unidades fundamentais de texto, como palavras, subpalavras ou caracteres, que o modelo processa para criar incorporações ou gerar texto. Os tokens são como você é cobrado pelo uso de modelos de incorporação e LLMs.

Para saber mais sobre tokens para incorporação automatizada, consulte Gerenciar cobrança para incorporação automatizada.

limites de taxa

Os limites de taxa são restrições impostas pelos fornecedores de API sobre o número de solicitações que um usuário pode fazer dentro de um período de tempo específico, geralmente medido em tokens por minuto (TPM) ou solicitações por minuto (RPM). Esses limites garantem o uso leal, evitam violações e mantêm a estabilidade e o desempenho do serviço para todos os usuários.

Para saber mais sobre os limites de taxa de incorporação automatizada, consulte Limites de taxa.

quantização

A quantização reduz a precisão das incorporações vetoriais para diminuir o uso de memória e armazenamento, com desvantagens na precisão da pesquisa. Para incorporação automática, o MongoDB Vector Search suporta os seguintes tipos de quantização:

Tipo de Quantização	Descrição
float	Armazena as incorporações vetoriais como valores flutuantes de 32bits.
scalar	Reduz cada dimensão vetorial de 32bits float para 8bits inteiros.
binary	Reduz cada dimensão vetorial para um único bit e redefine os principais resultados.
binaryNoRescore	Reduz cada dimensão vetorial para um único bit sem reclassificar.

Para saber mais sobre a quantização da incorporação automatizada, consulte Sobre a quantização.

número de dimensões

O número de dimensões especifica o comprimento do vetor de incorporação para cada documento ( quantos números estão na array ). Dimensões maiores capturam mais detalhes semânticas e, em geral, melhoram a precisão da recuperação, mas aumentam os custos de armazenamento e computação (tamanho do índice, uso de RAM e, às vezes, latência).

Para saber mais,numCandidates consulte Seleção.

semelhança

A função de similaridade é utilizada para medir a similaridade entre dois vetores ou a proximidade de um vetor de query dos vetores no índice. O MongoDB Vector Search oferece suporte às seguintes funções de similaridade:

• cosine - mede a similaridade com base no ângulo entre os vetores.

• dotProduct - mede a similaridade como cosine, mas leva em conta a magnitude do vetor. Recomendamos esta função de similaridade para fidelidade total ou quantização scalar.

• euclidean - mede a distância entre as extremidades dos vetores. Recomendamos esta função de similaridade para quantização binary ou binaryNoRescore, onde os vetores são compactados e a distância no espaço Hamming ou Euclideano é o sinal correto.

Para saber mais sobre as funções de similaridade da Incorporação Automática, consulte Sobre as funções de similaridade.