Atlas Vector Search 벤치마크 결과

리콜 및 지연 시간 분석

이진 양자화를 사용할 때, 기준선과 비교하여 90~95% 리콜 목표를 달성하려면 훨씬 더 많은 numCandidates가 필요하다는 것을 관찰했습니다. numCandidates가 높을수록 일반적으로 지연 시간이 길어지지만, 이는 상황에 따라 달라질 수 있습니다.

필터링

15.3M(1,530만 개) 항목 중 약 500k(전체의 약 3%에 해당하는 약 50만 개)가 반려동물 용품 카테고리에 속하는 데이터셋에 선택적 필터를 적용할 때 리콜과 지연 시간이 어떻게 변하는지 관찰했습니다.

3% 선택적 필터가 쿼리의 비용을 상당히 증가시킬 수 있음을 알 수 있습니다. 더 낮은 limit 값에서 이진 양자화를 사용할 경우, 필터를 적용하지 않은 쿼리보다 90~95% 재현율을 달성하는 데 약 4배 높은 비용이 소요되었습니다.

Lucene 10의 향후 개선사항에서 계층적 네비게이션 스몰월드를 위한 Acorn-1 검색 전략이 지원되면 이 프로세스가 개선될 가능성이 있습니다 그러나 세그먼트 내 메타데이터 필터와 일치하는 벡터 수보다 더 많은 후보를 요청해 등가 최근접 이웃을 수행하면, 양자화 방식과 무관하게 필터 선택성이 쿼리 성능에 크게 작용함을 보여줍니다.

동시성

이 테스트는 스칼라 및 이진 양자화를 사용할 때 다양한 limit 값에서 동시 요청 수를 1, 10 및 100으로 확장하여 테스트했습니다. numCandidates 값은 90~95%의 리콜을 달성할 수 있도록 선택되었습니다.

스칼라 양자화는 모든 limit 값에서 훨씬 더 높은 QPS를 달성하는 것으로 나타나는데 이는 numCandidates 값이 낮아 쿼리별로 수행되는 작업이 적고, 재점수화가 필요하지 않기 때문인 것으로 보입니다. 동시성 10과 동시성 100 조건의 플롯이 매우 근접하게 나타나는 것으로 볼 때, 상당한 CPU 병목 현상이 발생하고 있으며, 이로 인해 더 높은 지연 시간이 나타날 수 있음을 알 수 있습니다.

예외적으로, 스칼라 양자화에서 limit 10, 동시성 100 조건에서는 QPS가 현저히 더 높게 나타나는 데이터 포인트가 있습니다. 이는 재점수화를 하지 않고 limit 값이 낮을수록 쿼리별 비교 작업이 적어지기 때문에, 각 요청의 반환이 더 빨라지고 코어가 다른 쿼리 처리에 더 효과적으로 사용될 수 있기 때문입니다.

요청 처리를 위한 사용 가능한 vCPU 수를 확장하려면 검색 노드 계층을 확장하거나 검색 노드 수를 최소 2에서 최대 32 노드로 확장하는 방식이 동시성 병목 현상을 해소하고, 수천 건의 QPS 수준까지 무리 없이 확장할 수 있도록 도와줄 수 있습니다.

샤딩

클러스터와 컬렉션이 _id에서 샤딩되고, 바이너리 양자화 인덱스에 대해 필터링되지 않은 쿼리가 실행될 경우 어떤 일이 발생하는지도 관찰했습니다.

여기에서 numCandidates 의 더 낮은 값을 제공하여 90~95% 재현율 범위 에서 결과를 생성할 수 있으므로 샤딩된 결과가 limit 10 에서 더 높은 QPS를 갖는 것을 볼 수 있습니다. 이는 15.3M 개의 데이터 세트가 세 개의 샤드로 분할 있고, 각 샤드에는 HNSW 그래프가 포함된 세그먼트에 분산된 5.1M 개의 벡터로 채워진 자체 인덱스가 있기 때문입니다. 우리는 3 샤드에 동시에 수집된 각 쿼리 분산형이 가장 가까운 n 벡터를 찾을 가능성이 더 높은 덜 고급 검색 기능적으로 수행하고 있습니다. 이러한 이유로 numCandidates 를 줄이고 쿼리를 제공 데 사용할 수 있는 코어를 더 많이 가질 수 있으므로 샤딩 할 때 QPS가 약간 더 높지만, 클러스터 샤딩 비용 증가를 정당화할 만큼 그 차이는 크지 않습니다. 대부분의 경우 벡터 검색 위한 처리량 확장하다 해야 하기 때문이 아니라 운영 워크로드 와 관련된 이유로 클러스터 샤드 해야 합니다.