MongoDB 벡터 검색 자동화된 임베딩을 위한 mongot 구성

자동화된 임베딩의 기능

자동 임베딩이 없으면 애플리케이션이 수행해야 할 작업은 다음과 같습니다.

1. 삽입 또는 업데이트하는 각 문서에 대한 임베딩을 생성합니다.

2. 컬렉션의 문서와 함께 임베딩을 저장합니다.

3. 동일한 모델을 사용하여 쿼리 시점에 모든 쿼리에 대한 임베딩을 생성합니다.

4. 쿼리 임베딩을 $vectorSearch에 제출합니다.

자동 임베딩을 사용하면 mongot 이 1, 2, 3 단계를 처리합니다. 애플리케이션:

1. 텍스트 필드에 autoEmbed 필드 유형을 사용하여 MongoDB 벡터 검색 인덱스를 구성합니다.

2. 문서를 일반적으로 삽입하고 업데이트합니다.

   mongot 텍스트 필드를 읽고 구성된 임베딩 모델을 통해 임베딩을 생성하며 저장합니다.

3. 미리 계산된 임베딩이 아닌 쿼리 텍스트로 $vectorSearch 쿼리를 실행합니다.

   mongot 쿼리 텍스트에 대한 임베딩을 생성합니다.

지원되는 임베딩 제공자

자체 관리형 mongot 자동 임베딩은 Voyage AI 임베딩 모델과 통합됩니다.

임베딩 생성에 대한 비용이 발생합니다. 자세한 학습 은 자동 임베딩에 대한 청구 관리를 참조하세요.

전제 조건

자동 임베딩을 사용하려면 다음 사전 요건이 있어야 합니다.

• mongot 자체 관리형 배포서버(Community tarball 또는 컨테이너, 지역 개발, Kubernetes Operator를 통한 엔터프라이즈 에디션)에서 1.70.1 이상을 사용합니다.

• 독립형 배포서버의 경우 MongoDB 8.2 이상, Kubernetes 연산자 managed 배포서버의 경우 MongoDB 8.3 이상입니다. 자세한 내용은 mongot의 호환성 및 요구 사항을 참조하세요.

• 두 개의 Voyage AI API 키.

  인덱싱 시간 임베딩 생성용 키 하나와 쿼리 시간용 키 하나를 사용하세요. 별도 키는 인덱싱 워크로드에서 쿼리 워크로드를 분리하고 동리적인 요금 한도 계산을 허용합니다. 자세한 학습은 요금 한도를 참조하세요.

• mongot 에서 임베딩 엔드포인트로의 외부 네트워크 액세스

  기본 엔드포인트는 https://ai.mongodb.com/v1/embeddings입니다. 이 엔드포인트는 Atlas UI를 사용하여 생성된 키에 대해 MongoDB managed 청구를 사용하여 Voyage AI를 프록시합니다. Voyage AI에서 API 키를 직접 생성한 경우 https://api.voyageai.com/v1/embeddings 을 사용하여 Voyage AI에 직접 액세스할 수도 있습니다.

절차

docker run \
   -e VOYAGE_API_KEY=<your-voyage-api-key> \
   -p 27017:27017 \
   mongodb/mongodb-atlas-local:preview

docker run \
   -e VOYAGE_API_KEY=<your-voyage-api-key> \
   -e EMBEDDING_PROVIDER_ENDPOINT=https://api.voyageai.com/v1/embeddings \
   -p 27017:27017 \
   mongodb/mongodb-atlas-local:preview

embedding:
  queryKeyFile: /etc/mongot/secrets/voyage-api-query-key
  indexingKeyFile: /etc/mongot/secrets/voyage-api-indexing-key
  providerEndpoint: https://ai.mongodb.com/v1/embeddings

db.movies.createSearchIndex(
  "movie-semantic-index",
  "vectorSearch",
    {
      "fields": [
        {
          "type": "autoEmbed",
          "modality": "text",
          "path": "plot",
          "model": "voyage-4",
          "numDimensions": 1024,
          "similarity": "cosine",
          "indexingMethod": "hnsw",
          "hnswOptions": {
            "maxEdges": 16,
            "numEdgeCandidates": 50
          },
          "quantization": "scalar"
        },
        {
          "type": "filter",
          "path": "genre"
        }
      ]
    }
)

db.movies.aggregate([
  {
    "$vectorSearch": {
      "index": "movie-semantic-index",
      "path":  "plot",
      "query": "a heist gone wrong in a rainy city",
      "model": "voyage-4",
      "numCandidates": 100,
      "limit": 10
    }
  },
  {
    "$project": {
      "_id":   0,
      "title": 1,
      "score": { $meta: "vectorSearchScore" }
    }
  }
])

임베딩 저장

mongot 클러스터의 전용 내부 데이터베이스에 임베딩을 유지합니다. mongot 은 소스 컬렉션에 임베딩을 저장하지 않습니다. mongot 은 소스 텍스트에서 임베딩을 다시 생성할 수 있으며, 임베딩 생성에 대한 요금이 부과됩니다.

임베딩 모델, 출력 차원 또는 양자화에 대한 변경은 영향을 받는 인덱스의 전체 재임베딩을 trigger하며, 이로 인해 임베딩 생성에 대한 요금이 발생합니다. mongot 이 임베딩을 다시 생성하는 경우를 참조하세요.

자세한 내용은 생성된 임베딩 컬렉션을 참조하십시오.

mongot 이 임베딩을 다시 생성할 때

mongot 다음 중 하나라도 발생하면 autoEmbed 필드에 대한 임베딩을 다시 생성합니다.

• 문서를 삽입합니다.

• 문서에서 임베딩된 필드를 변경합니다. mongot 은 change streams를 통해 변경 사항을 감지합니다.

• 인덱스 정의에서 임베딩 모델을 변경합니다.

• 임베딩 출력 차원 또는 데이터 유형을 변경합니다.

• 텍스트 필드 경로를 변경합니다.

마지막 세 항목 중 하나라도 변경하면 mongot 은(는) 전체 인덱스를 처음부터 다시 빌드합니다. 대규모 컬렉션의 경우 재구축 비용이 많이 발생할 수 있습니다. 모델 변경을 신중하게 계획하십시오.

비용 및 속도 제한

MongoDB는 모델 특정 요금으로 백만 토큰당 부과합니다. 인덱싱 비용은 컬렉션의 인덱스 필드의 총 텍스트 볼륨에 비례합니다. 쿼리 비용은 쿼리 텍스트 볼륨에 비례합니다.

Atlas 계정을 사용하여 생성한 Voyage AI API 키를 사용하는 경우 Atlas UI 에서 API 키 사용량 및 요금 제한을 확인할 수 있습니다. 자세한 학습은 Embedding and Reranking API 에 대한 청구 관리를 참조하세요. Voyage AI에서 직접 생성한 키를 사용하는 경우 Voyage AI 대시보드에서 사용량 및 요금 제한을 모니터링해야 합니다.

Voyage AI 측 제한 서비스 오류는 mongot 로그에 나타나며 해당 인덱스에 실패한 문서 지표기로 표시됩니다. 이러한 오류로 인덱스가 비활성화되지는 않지만 새 문서 인덱싱이 지연될 수 있습니다.

실패 모드

제한 사항

자동 임베딩에는 다음과 같은 제한 사항이 적용됩니다.

• 미리 보기 상태. 자동 임베딩이 일반적으로 사용가능해지기 전에 설정 형상, 지원되는 모델 및 기본 엔드포인트가 변경될 수 있습니다.

• 필드당 하나의 임베딩 모델. 혼합 모델 인덱스는 지원되지 않습니다.

• 임베딩 모델 페일오버가 없습니다. Voyage AI 엔드포인트에 액세스할 수 없는 경우, 새 문서의 인덱싱이 중단됩니다.

다음 단계

• 크로스 플랫폼 개념적 개요에 대한 자동화된 임베딩 개요 를 참조하세요.

• 전체 mongot 구성 참조를 위해 mongot 구성 합니다.