Visão geral do benchmark de Vector Search do MongoDB

Quantização

A quantização reduz a precisão das incorporações vetoriais para diminuir o uso de memória e melhorar a velocidade da pesquisa, com concessões em termos de precisão da pesquisa.

Dimensionalidade vetorial

Utilizamos o modelo voyage-3-large da Voyage AI para incorporar os tamanhos médio (5.5mi) e grande (15.3mi) de conjuntos de dados vetoriais. Escolhemos esse modelo de incorporação devido ao seu desempenho superior em muitos benchmarks de IR e porque ele é treinado com o Aprendizado de Representação Matryoshka e a quantização em mente. Portanto, ele apresenta um bom desempenho em dimensões menores com a quantização ativada, mesmo em volumes maiores de vetores.

Utilizamos a indexação em visualizações para criar campos adicionais que dividem as primeiras N dimensões do vetor com 2048 dimensões de origem, gerando vetores com 1024, 512 e 256 dimensões, e os indexamos como faríamos com o campo de origem.

db.createView(
  "all_dims_amazon_dataset",
  "2048d_amazon_dataset",
  [
    {
      $addFields: {
        "1024_embedding": { $slice: ["$embedding", 1024] },
        "512_embedding": { $slice: ["$embedding", 512] },
        "256_embedding": { $slice: ["$embedding", 256] }
      }
    }
  ]
)

db.all_dims_amazon_dataset.createSearchIndex(
  "all_dims_vector_index",
  "vectorSearch",
  {
    "fields": [
      {
        "numDimensions": 2048,
        "path": "embedding", // original 2048d embedding produced by voyage-3-large
        "quantization": "scalar", // adjust to binary when needed
        "similarity": "dotProduct",
        "type": "vector"
      },
      {
        "numDimensions": 1024,
        "path": "1024_embedding",
        "quantization": "scalar",
        "similarity": "cosine", // sliced embeddings aren't normalized, so must use cosine
        "type": "vector"
      },
      {
        "numDimensions": 512,
        "path": "512_embedding",
        "quantization": "scalar",
        "similarity": "cosine",
        "type": "vector"
      },
      {
        "numDimensions": 256,
        "path": "256_embedding",
        "quantization": "scalar",
        "similarity": "cosine",
        "type": "vector"
      }
    ]
  }
)

Semelhante a diferentes representações em cada posição, as várias dimensionalidades impactam a capacidade representativa de cada vetor. Consequentemente, você pode alcançar maior precisão com vetores de 2048d em comparação com vetores de 256d, especialmente quando mede em relação a uma linha de base de ponto flutuante de 2048d ENN.

Além de exigir mais armazenamento e memória, os vetores de dimensionamento mais alto são um pouco mais lentos para executar query em comparação com os vetores de dimensionamento inferior, mas isso é mitigado significativamente à medida que o MongoDB Vector Search aproveita as instruções SIMD ao realizar comparações vetoriais.

Filtragem

Também criamos uma definição de índice separada na coleção contendo todos os 15,3mi itens, que inclui filtros em dois campos para habilitar queries pré-filtradas nesse conjunto de dados.

db.large_amazon_dataset.createSearchIndex(
  "vectorSearch",
  "large_vector_index",
  {
    "fields": [
      {
        "numDimensions": 2048,
        "path": "embedding",
        "quantization": "scalar", // adjust to binary when needed
        "similarity": "dotProduct",
        "type": "vector"
      },
      {
        "path": "category",
        "type": "filter"
      },
      {
        "path": "price",
        "type": "filter"
      }
    ]
  }
)

Executamos queries de pesquisa vetoriais, tanto quanto com quanto sem filtro, no grande conjunto de dados indexados:

# unfiltered query
query = [
  {
    "$vectorSearch": {
      "index": "large_vector_index",
      "path": "embedding",
      "queryVector": embedding.tolist(),
      "limit": k,
      "numCandidates": candidates,
    }
  },
  {
    "$project": {"embedding": 0}
  }
]

# filtered query
query = [
  {
    "$vectorSearch": {
      "index": "large_vector_index",
      "path": "embedding",
      "queryVector": embedding.tolist(),
      "limit": k,
      "numCandidates": candidates,
      "filter": {"$and": [{'price': {'$lte': 1000}}, {'category': {'$eq': "Pet Supplies"}}]}
    }
  },
  {
    "$project": {"embedding": 0}
  }
]

Configuração de nó de pesquisa

O desempenho do MongoDB Vector Search é dimensionado com nós de pesquisa dedicados, que lidam com computação vetorial separadamente do volume de trabalho do banco de dados principal e fazem uso eficiente de instâncias de hardware dedicadas. Todos os testes foram realizados usando um cluster de base M20, mas, dependendo do tipo de teste, reconfiguramos os nós de pesquisa usados para melhor se adequar ao nosso caso de teste. Todos os testes foram executados utilizando Nós de Pesquisa no Amazon Web Services us-east-1, com uma instância do EC2 também em us-east-1 fazendo solicitações. Há três tipos de nós de pesquisa que você pode provisionar na Amazon Web Services, que variam em termos de disco, RAM e vCPUs disponíveis:

binData Compactação de vetor

Para o grande conjunto de dados, utilizamos um recurso adicional chamado compactação vetorial, que reduz a pegada de cada vetor na coleção de origem em cerca de 60%. Isso acelera a etapa dentro de uma query quando os IDs são hidratados na coleção de origem, e essa é uma etapa recomendada para todas as grandes cargas de trabalho.

Concurrency

Avaliamos não apenas a latência da query serial, mas também a taxa de transferência/QPS quando 10 e 100 solicitações são emitidas simultaneamente.

Fragmentação

Avaliamos o impacto da fragmentação do nosso cluster e da nossa coleção no campo _id sobre a taxa de transferência do sistema, com foco na simultaneidade de solicitações de 10 e 100 para o grande índice quantizado binário.