Esta página fornece recomendações adicionais para melhorar o desempenho de suas queries de pesquisa do MongoDB Vector Search.
Garanta memória suficiente
Hierarchical Navigable Small Worlds works efficiently when vector data is held in memory. You must ensure that the data nodes have sufficient RAM to hold the vector data and indexes. We recommend deploying separate Search Nodes for workload isolation without data isolation, which enables more efficient usage of memory for vector search use cases.
Modelo de incorporação | Dimensão vetorial | Requisitos de espaço |
|---|---|---|
Voyage AI | 2048 | 8kb (para |
OpenAI | 1536 | 6kb |
Google | 768 | 3kb |
Cohere | 1024 | 4kb (para |
Vetores quantizados BinData. Para saber mais,consulte Ingestão de vetores quantizados.
A quantidade de recursos de CPU, memória e disco que o MongoDB pesquisa vetorial consome depende de vários fatores, incluindo o tamanho do índice e os critérios de query. É importante monitorar seu ambiente para entender a integridade e o desempenho da pesquisa vetorial e para confirmar a capacidade adequada da infraestrutura e identificar quaisquer anomalias.
Use as seguintes métricas para observar e melhorar o desempenho dos seus índices de pesquisa e queries do MongoDB Vector Search:
Pesquisa memória do sistema
Monitore a quantidade total de RAM usada pelos seus índices de pesquisa do MongoDB Vector Search. RAM adequada é fundamental para o desempenho da query da MongoDB pesquisa vetorial porque as queries que vão para o disco têm muito menos desempenho. Certifique-se de que todo o índice caiba na memória.
Ensure that available System Memory is always greater than used System Memory. If the index is not frequently queried, not all of the index might be in memory. Therefore, leverage the System Memory metric in conjunction with the Index Size metric to optimize provisioning.
Se o tamanho do índice do vetor tiver mais de 3 GB, recomendamos a quantização do vetor, que armazena apenas 4% do índice na memória, em vez do índice completo.
Tamanho do índice de pesquisa
Monitore o tamanho total de todos os índices no disco em bytes. Isso é necessário para garantir que você tenha dimensionado com precisão seus requisitos de RAM.
Verifique a Index Size métrica de pesquisa no disco para ver qual seria o tamanho total 100do índice se % do vetor estiver armazenado na memória e garanta que ele seja menor do que a memória do sistema disponível.
Falhas na página de pesquisa
Monitore a taxa média de falhas de página em um processo por segundo durante um período de amostra selecionado. A métrica Page Faults indica com que frequência a query de pesquisa vai para o disco, o que indica que o índice completo não está cabendo na memória.
Essa métrica deve permanecer o mais próximo possível de zero. Se você ver falhas de página consistentemente, considere dimensionar a camada do cluster para provisionar a RAM adequada.
Aqueça o cache do sistema de arquivos
When you perform vector search without using dedicated Search Nodes, your queries initially perform random seeks on disk as you traverse the Hierarchical Navigable Small Worlds graph and the vector values are read into memory. When using Search Nodes, this cache warming typically only occurs in the event of an index rebuild, usually during scheduled maintenance windows.
Monitore para gargalos da CPU
As incorporações de vetor consomem recursos computacionais durante a indexação. As queriesENN em grandes conjuntos de dados consomem recursos da CPU. Como resultado, indexar e fazer query ao mesmo tempo pode causar gargalos de recursos. Para evitar gargalos da CPU, evite indexar vetores quando as queries estiverem em execução. Ao executar um sincronização inicial, certifique-se de que o uso da CPU do nó de pesquisa retorne próximo a 0%, indicando que os segmentos foram mesclados e liberados para o disco, antes de emitir queries de teste.
Monitore a Search Normalized Process CPU métrica durante as operações de indexação, pois a indexação pesada mostrará uso elevado da CPU. Essa métrica mostra o uso da CPU como uma porcentagem normalizada em relação ao número de núcleos da CPU disponíveis, o que permite avaliar a saturação de recursos em relação à capacidade do cluster. Depois que as incorporações vetoriais forem indexadas, aguarde até que o uso da CPU retorne perto de 0% à medida que a mesclagem e a liberação do segmento forem concluídas.