자동화된 임베딩 개요

자동 임베딩 활성화 및 사용

1
{
2
  "fields": [
3
    {
4
      "type": "autoEmbed",
5
      "modality": "text",
6
      "path": "<field-to-index>",
7
      "model": "<embedding-model>"
8
    },
9
    {
10
      "type": "filter",
11
      "path": "<field-to-index>"
12
    },
13
    ...
14
  ]
15
}

1
[
2
  {
3
    "$vectorSearch": {
4
      "index": "<index-name>",
5
      "path": "<field-to-index>",
6
      "query": "<query-text>",
7
      "model": "<embedding-model>"
8
    }
9
  },
10
  {
11
    "$project": {
12
      "_id": 0,
13
      "<field-to-index>": 1,
14
      "score": { "$meta": "vectorSearchScore" }
15
    }
16
  }
17
]

임베딩 스토리지

자동 임베딩 인덱스는 벡터 임베딩을 비동기적으로 생성하고 별도의 예비 데이터베이스 에 MongoDB cluster 에 유지됩니다. 각 자동 임베딩 인덱스 해당하는 생성된 임베딩 컬렉션 정확히 하나만 있습니다. 생성된 임베딩 컬렉션 동일한 클러스터 의 전용 내부 데이터베이스 에 저장됩니다.

자세한 학습 은 생성된 임베딩 컬렉션을 참조하세요.

사용 가능한 모델

MongoDB Vector Search는 각각 특정 사용 사례에 최적화된 Voyage AI의 최신 임베딩 모델과 통합됩니다.

자세한 학습 은 자동 임베딩을 위한 모델을 참조하세요.

주요 개념

임베딩 모델

임베딩 모델은 데이터를 데이터의 시맨틱 또는 기본 의미를 캡처하는 벡터 임베딩으로 변환하는 알고리즘입니다. 이러한 벡터를 사용하면 벡터 검색 활성화 .

자동 임베딩의 임베딩 모델에 대해 자세히 학습 사용 가능한 모델을 참조하세요.

벡터 임베딩

벡터 임베딩은 숫자 배열 로, 각 차원은 데이터의 다른 기능 이나 속성을 나타냅니다. 벡터는 텍스트, 이미지, 동영상부터 구조화되지 않은 데이터에 이르기까지 모든 유형의 데이터를 표현하는 데 사용할 수 있습니다. 임베딩 모델을 통해 데이터를 전달하여 벡터 임베딩을 생성하고, 이러한 임베딩을 MongoDB 와 같은 벡터 임베딩을 지원하는 데이터베이스 에 저장 수 있습니다.

자동 임베딩을 위한 임베딩 저장 에 대해 자세히 학습 생성된 임베딩 컬렉션을 참조하세요.

tokens

임베딩 모델 및 LLM과 관련하여 토큰은 모델이 임베딩을 생성하거나 텍스트를 생성하기 위해 처리하는 단어, 하위 단어 또는 문자와 같은 텍스트의 기본 단위입니다. 토큰은 임베딩 모델 및 LLM 사용에 대한 요금이 청구되는 방식입니다.

자동 임베딩을 위한 토큰에 대해 자세히 학습 자동 임베딩을 위한 청구 관리를 참조하세요.

속도 제한

속도 제한은 API 제공자가 특정 시간 내에 사용자가 할 수 있는 요청 수에 대해 부과하는 제한이며, 종종 분당 토큰(TPM) 또는 분당 요청(RPM)으로 측정됩니다. 이러한 제한은 공정한 사용을 보장하고, 남용을 방지하며, 모든 사용자를 위해 서비스의 안정성과 성능을 유지합니다.

자동 임베딩의 속도 제한에 대해 자세히 학습 속도 제한을 참조하세요.

양자화

양자화는 벡터 임베딩의 정밀도를 줄여 메모리와 저장 사용량을 줄이고 검색 정확도는 절충합니다. 자동화된 임베딩의 경우 MongoDB Vector Search는 다음과 같은 양자화 유형을 지원합니다.

양자화 유형	설명
float	벡터 임베딩을 32비트 부동 소수점 값으로 저장합니다.
scalar	각 벡터 차원을 32비트 부동 소수점에서 8비트 정수로 줄입니다.
binary	각 벡터 차원을 단일 비트로 줄이고 상위 결과의 점수를 다시 매깁니다.
binaryNoRescore	점수를 다시 매기지 않고 각 벡터 차원을 단일 비트로 줄입니다.

자동 임베딩의 양자화에 대해 자세히 학습 양자화 정보를 참조하세요.

차원의 수

차원 수는 각 문서 의 임베딩 벡터 길이( 배열 에 있는 숫자의 수)를 지정합니다. 차원이 높을수록 더 많은 시맨틱 세부 정보를 캡처하고 일반적으로 검색 정확도가 향상되지만 저장 및 컴퓨팅 비용(인덱스 크기, RAM 사용량, 때로는 지연 시간)이 증가합니다.

numCandidates 자세히 학습 선택을 참조하세요.

유사성

유사성 함수는 두 벡터 간의 유사성 또는 인덱스 에 있는 벡터에 대한 쿼리 벡터의 유사성을 측정하는 데 사용됩니다. MongoDB Vector Search는 다음과 같은 유사성 함수를 지원합니다.

• cosine - 벡터 사이의 각도를 기준으로 유사성을 측정합니다.

• dotProduct - cosine와(과) 같이 유사성을 측정하지만 벡터의 크기를 고려합니다. 완전 충실도 또는 scalar 양자화에는 이 유사성 함수를 권장합니다.

• euclidean - 벡터의 끝과 끝 사이의 거리를 측정합니다. 이 유사성 함수는 벡터가 압축되고 해밍 또는 유클리드 공간의 거리가 올바른 신호인 binary 또는 binaryNoRescore 양자화에 권장됩니다.

자동 임베딩의 유사성 함수에 대해 자세히 학습 유사성 함수 정보를 참조하세요.