자동화된 임베딩 개요

자동 임베딩 활성화 및 사용

1
{
2
  "fields": [
3
    {
4
      "type": "autoEmbed",
5
      "modality": "text",
6
      "path": "<field-to-index>",
7
      "model": "<embedding-model>"
8
    },
9
    {
10
      "type": "filter",
11
      "path": "<field-to-index>"
12
    },
13
    ...
14
  ]
15
}

1
[
2
  {
3
    "$vectorSearch": {
4
      "index": "<index-name>",
5
      "path": "<field-to-index>",
6
      "query": "<query-text>",
7
      "model": "<embedding-model>"
8
    }
9
  },
10
  {
11
    "$project": {
12
      "_id": 0,
13
      "<field-to-index>": 1,
14
      "score": { "$meta": "vectorSearchScore" }
15
    }
16
  }
17
]

임베딩 저장

자동 임베딩 인덱스는 vector embeddings를 비동기적으로 생성하고 별도의 예비 데이터베이스 에 MongoDB 클러스터 에 유지됩니다. 각 자동 임베딩 인덱스 해당하는 생성된 임베딩 컬렉션 정확히 하나만 있습니다. 생성된 임베딩 컬렉션 동일한 클러스터 의 전용 내부 데이터베이스 에 저장됩니다.

자세한 학습은 생성된 임베딩 컬렉션을 참조하세요.

사용 가능한 모델

MongoDB Vector Search는 각각 특정 사용 사례에 최적화된 Voyage AI의 최신 임베딩 모델과 통합됩니다.

자세한 학습 은 자동 임베딩을 위한 모델을 참조하세요.

주요 개념

임베딩 모델

embedding models are algorithms that convert data into vector embeddings that capture your data's semantic, or 기본, meaning. 이러한 벡터를 사용하면 벡터 검색 활성화 .

자동 embedding model의 embedding model에 대해 자세히 학습하려면 사용 가능한 model을 참조하세요.

벡터 임베딩

벡터 임베딩은 숫자 배열 로, 각 차원은 데이터의 다른 기능 이나 속성을 나타냅니다. 벡터는 텍스트, 이미지, 동영상부터 구조화되지 않은 데이터에 이르기까지 모든 유형의 데이터를 표현하는 데 사용할 수 있습니다. 임베딩 모델을 통해 데이터를 전달하여 벡터 임베딩을 생성하고, 이러한 임베딩을 MongoDB 와 같은 벡터 임베딩을 지원하는 데이터베이스 에 저장 수 있습니다.

자동 임베딩을 위한 임베딩 저장에 대해 자세히 알아보려면 생성된 임베딩 컬렉션을 참조하세요.

tokens

임베딩 모델 및 LLM과 관련하여 토큰은 모델이 임베딩을 생성하거나 텍스트를 생성하기 위해 처리하는 단어, 하위 단어 또는 문자와 같은 텍스트의 기본 단위입니다. 토큰은 임베딩 모델 및 LLM 사용에 대한 요금이 청구되는 방식입니다.

자동 임베딩을 위한 토큰에 대해 자세히 학습하려면 자동 임베딩을 위한 청구 관리를 참조하세요.

속도 제한

속도 제한은 API 제공자가 특정 시간 내에 사용자가 할 수 있는 요청 수에 대해 부과하는 제한이며, 종종 분당 토큰(TPM) 또는 분당 요청(RPM)으로 측정됩니다. 이러한 제한은 공정한 사용을 보장하고, 남용을 방지하며, 모든 사용자를 위해 서비스의 안정성과 성능을 유지합니다.

자동 임베딩의 속도 제한에 대해 자세히 학습 속도 제한을 참조하세요.

양자화

양자화는 벡터 임베딩의 정밀도를 줄여 메모리와 저장 사용량을 줄이고 검색 정확도는 절충합니다. 자동화된 임베딩의 경우 MongoDB Vector Search는 다음과 같은 quantization 유형을 지원합니다.

Quantization 유형	설명
float	vector embeddings를 32비트 float 값으로 저장합니다.
scalar	각 벡터 차원을 32비트 부동 소수점에서 8비트 정수로 줄입니다.
binary	각 벡터 차원을 단일 비트로 줄이고 상위 결과의 점수를 다시 매깁니다.
binaryNoRescore	점수를 다시 매기지 않고 각 벡터 차원을 단일 비트로 줄입니다.

자동 임베딩의 quantization에 대해 자세히 학습하려면 quantization 정보를 참조하세요.

차원의 수

The number of dimensions specifies the length of the embedding vector for each document (how many numbers are in the 배열). 차원이 높을수록 더 많은 시맨틱 세부 정보를 캡처하고 일반적으로 검색 정확도가 향상되지만 저장 및 컴퓨팅 비용(인덱스 크기, RAM 사용량, 때로는 지연 시간)이 증가합니다.

자세히 학습하려면 numCandidates 선택을 참조하세요.

유사성

유사성 함수는 두 벡터 간의 유사성 또는 인덱스 에 있는 벡터에 대한 쿼리 벡터의 유사성을 측정하는 데 사용됩니다. MongoDB Vector Search는 다음과 같은 유사성 함수를 지원합니다.

• cosine - 벡터 사이의 각도를 기준으로 유사성을 측정합니다.

• dotProduct - cosine와(과) 같이 유사성을 측정하지만 벡터의 크기를 고려합니다. 완전 충실도 또는 scalar 양자화에는 이 유사성 함수를 권장합니다.

• euclidean - 벡터의 끝과 끝 사이의 거리를 측정합니다. 이 유사성 함수는 벡터가 압축되고 해밍 또는 유클리드 공간의 거리가 올바른 신호인 binary 또는 binaryNoRescore 양자화에 권장됩니다.

자동 임베딩의 유사성 함수에 대해 자세히 알아보려면 유사성 함수 정보를 참조하세요.