Executar query ANN e ENN de pesquisa vetorial

Tipo de implementação

Embeddings

Interface

Uma query do MongoDB Vector Search assume a forma de um pipeline de agregação que utiliza $vectorSearch como o primeiro estágio. Esta página explica a sintaxe, as opções e o comportamento do estágio $vectorSearch.

$vectorSearch

Clientes aceitos

Sintaxe

Campos

O estágio $vectorSearch recebe um documento com os seguintes campos:

Tipos de pesquisas vetoriais

Ao definir um estágio$vectorSearch, você pode usar o campo exact para especificar se deseja executar uma pesquisa ANN ou ENN.

Para a pesquisa ANN, o MongoDB pesquisa vetorial encontra incorporações vetoriais em seus dados que estão mais próximas da incorporação vetorial em sua query com base em sua proximidade no espaço multidimensional e com base no número de vizinhos que considera. Ele usa o algoritmo Hierarchical Navigable Small Worlds e encontra as incorporações vetoriais mais semelhantes à incorporação vetorial em sua query sem digitalizar todos os vetores. Portanto, a pesquisa ANN é ideal para consultar grandes conjuntos de dados sem filtro significativo.

Observação

A recuperação ideal para a pesquisa ANN é geralmente considerada em torno de 90–95% de sobreposição nos resultados com a pesquisa ENN, mas com latência significativamente menor. Isso oferece um bom equilíbrio entre precisão e desempenho. Para alcançar isso com a pesquisa vetorial MongoDB, ajuste o parâmetro numCandidates no momento da query.

`numCandidates` Seleção

Você deve especificar o campo numCandidates para executar a pesquisa ANN. Este campo determina quantos vizinhos mais próximos a pesquisa vetorial MongoDB considera durante a pesquisa.

Ao realizar uma pesquisa vetorial usando a estrutura de índice Hierarchical Navigable Small Worlds, a pesquisa vetorial do MongoDB acumula resultados preenchendo uma fila de prioridade. O parâmetro numCandidates controla o tamanho dessa fila, que determina por quanto tempo pesquisar antes de retornar os limit principais resultados. Uma fila maior (maior numCandidates) permite que a pesquisa explore mais o grafo Hierarchical Navigable Small Worlds, potencialmente encontrando melhores correspondências ao custo de maior latência de query.

Recomendamos que você especifique um número numCandidates pelo menos 20 vezes maior do que o número de documentos a serem devolvidos (limit) para aumentar a precisão e reduzir as discrepâncias entre os resultados da query ENN e ANN. Por exemplo, se você definir limit para retornar 5 resultados, considere definir numCandidates como 100 como ponto de partida. Para saber mais, consulte Como medir a precisão dos resultados da sua query.

Este padrão de solicitação excessiva é a maneira recomendada de compensar a latência e o recall em suas pesquisas ANN. No entanto, recomendamos ajustar o parâmetro numCandidates com base no tamanho específico do seu conjunto de dados e nos requisitos da query. Para garantir que você obtenha resultados precisos, considere as seguintes variáveis:

Considerações

$vectorSearch deve ser o primeiro estágio de qualquer pipeline onde aparece.

Limitações

$vectorSearch não pode ser usado na definição de exibição e nos seguintes estágios de pipeline:

$lookup subpipeline [1]
$facet estágio do pipeline

[1]	Você pode passar os resultados de `$vectorSearch` para este estágio.

Proteção contra sobrecarga

Quando as queries chegam mais rápido do que o processo de pesquisa pode executá-las, o Atlas coloca o excesso de queries na fila e pode rejeitar queries com um erro 489. Para saber mais, consulte Redução de carga de query e Rejeição de query.

Indexação de pesquisa vetorial do MongoDB

Para saber mais sobre esses tipos de campo do MongoDB Vector Search, consulte Como indexar campos para o Vector Search.

Pontuação da pesquisa vetorial do MongoDB

O MongoDB Vector Search atribui uma pontuação, em um intervalo fixo de 0 a 1 (onde 0 indica baixa similaridade e 1 indica alta similaridade), a cada documento retornado.

Observação

A pré-filtragem de seus dados não afeta a pontuação que o MongoDB Vector Search retorna usando vectorSearchScore para $vectorSearch consultas.

Filtro de pesquisa vetorial MongoDB

MongoDB pesquisa vetorial suporta filtro de dados. Você pode:

Pré-filtro seus dados usando a opção filter em sua query de pesquisa vetorial do MongoDB.
publicação-filtro os resultados da sua query de pesquisa vetorial do MongoDB usando $match e outras fases do pipeline de agregaçãocompatíveis.

Pré-filtro e pós-filtro do Atlas Vector Search

A pesquisa vetorial do MongoDB executa operações de pré-filtro e publicação-filtro independentemente em segmentos de dados. O grafo HNSW para cada segmento é baseado apenas nos vetores nesse segmento. A pesquisa vetorial do MongoDB aplica os filtros aos documentos de cada segmento para eliminar documentos que não atendem aos critérios de filtro. A pré-filtragem garante que os documentos sejam eliminados antes que a pesquisa vetorial do MongoDB percorra o grafo HNSW e a filtragem após a publicação garante que documentos ou campos irrelevantes nos documentos sejam eliminados dos resultados da pesquisa vetorial.

Dados de pesquisa de pré-filtro

Você pode pré-filtrar seus dados para restringir o escopo da sua pesquisa semântica e garantir que apenas vetores relevantes sejam considerados para comparação. Quando você pré-filtra seus dados usando a opção filter, a pesquisa vetorial do MongoDB executa a pesquisa semântica em apenas um subconjunto de seus dados, o que aumenta a precisão dos resultados da pesquisa.

A pré-filtragem pode ser muito restritiva, pois o pré-filtro pode excluir dados que não correspondem exatamente ao pré-filtro, mas são semanticamente semelhantes à query que você deseja considerar durante a pesquisa vetorial. Para atenuar isso, recomendamos definir um critério de filtro amplo para garantir que sua query faça o seguinte:

Inclui o máximo de resultados relevantes possível.
Exclui dados irrelevantes dos resultados.
Retorna o número solicitado de documentos nos resultados.

Importante

As queries filtradas são normalmente mais lentas do que uma query não filtrada equivalente.

Resultados da pesquisa de publicação-filtro

Se o tamanho do seu índice não for ideal para pré-filtro ou se você definir critérios de pré-filtro amplos, poderá pós-filtro os resultados da pesquisa vetorial para retornar apenas dados relevantes. Para filtrar os resultados da pesquisa vetorial, você pode usar qualquer fase do pipeline de agregação compatível, como a fase $match, após a fase $vectorSearch. Para aprender mais, consulte Recomendações adicionais de desempenho.

Para selecionar os campos a serem retornados nos resultados, utilize o estágio $project, a menos que você precise de todos os campos nos resultados. Recomendamos excluir o campo de vetor no estágio $project para melhorar o desempenho da query.

Por exemplo, você pode usar o estágio $project para incluir o vectorSearchScore e, em seguida, usar o estágio $match para retornar apenas documentos acima de um determinado limite de pontuação.

Considerações de filtro

O MongoDB Vector Search suporta a forma abreviada de $eq. Na forma abreviada, você não precisa especificar $eq na query.

Por exemplo, considere o seguinte filtro com $eq:
```
"filter": { "_id": { "$eq": ObjectId("5a9427648b0beebeb69537a5") }
```
Isso equivale ao seguinte filtro, que usa a forma abreviada de $eq:
```
"filter": { "_id": ObjectId("5a9427648b0beebeb69537a5") }
```
Você pode usar o $and operador MQL para especificar um array de filtros em uma única query.

Por exemplo, considere o seguinte pré-filtro para documentos com um campo genres igual a Action e um campo year com o valor 1999, 2000 ou 2001:
```
"filter": {  "$and": [    { "genres": "Action" },    { "year": { "$in": [ 1999, 2000, 2001 ] } }  ]}
```
Para funcionalidades avançadas de filtragem, como pesquisa difusa, correspondência de frases, filtragem de localização e outros textos analisados, use o operador vectorSearch em um estágio $search.

Exemplos

Pré-requisitos

Antes de executar estes exemplos, realize as seguintes ações:

Adicione o conjunto de dados de amostra usado na query ao seu cluster.
Crie índices de pesquisa vetorial do MongoDB para a coleção. Para obter instruções, consulte o procedimento Criar um índice de pesquisa vetorial do MongoDB e configure o índice para as query de amostra na linguagem desejada.

Consultas

Saiba mais

Os tutoriais a seguir demonstram casos de uso adicionais para o estágio $vectorSearch.

Voltar

Referência de índice

Explicar os resultados da query