자동 임베딩을 위한 모델

컨텍스트 창 크기

컨텍스트 창 은 임베딩 또는 LLM 모델이 단일 요청 에서 고려할 수 있는 최대 텍스트 양(문자가 아닌 토큰으로 측정)입니다. 각 모델의 최대 컨텍스트 창 크기는 다음과 같습니다.

인덱싱된 텍스트 필드 컨텍스트 창 보다 길면 텍스트는 모델의 컨텍스트 창 크기에 맞게 자동으로 잘립니다. 쿼리 텍스트가 모델에 대해 이 컨텍스트 창 초과하면 $vectorSearch 쿼리 오류와 함께 context-limit-exceeded 실패합니다.

모델 비용

모델 토큰은 인덱스 작업(최초 생성, 삽입, 업데이트) 및 쿼리 작업 중에 사용됩니다. 인덱스 작업의 경우 autoEmbed 유형으로 인덱싱된 MongoDB 문서 의 필드만 임베딩 생성에 사용되며 토큰을 사용합니다. 쿼리 작업의 경우 제공된 쿼리 텍스트는 임베딩 생성에 사용되며 토큰 사용량이 발생합니다. 각 모델의 토큰 비용 은 다음과 같습니다.

무료 토큰

무료 토큰은 새로 고침되지 않습니다.

최초 인덱스 빌드 속도 제한

최초 인덱스 빌드 속도 제한은 임베딩이 생성되는 최대 빈도와 토큰 수를 제한합니다. 최초 인덱스 빌드 (초기 동기화 ) 중 대규모 워크로드의 경우, 자동 임베딩은 표준 속도 제한에 얽매이지 않는 별도의 추론 메커니즘을 사용합니다. 이 메커니즘은 초기 인덱스 빌드 처리하다 위한 처리량 에 최적화되어 다음과 같은 이점을 제공합니다.

• 빠른 초기 동기화: 임베딩 생성 처리량을 동적으로 처리량 대규모 버스트를 처리하다 .

• 무제한 처리량: 사용 가능한 GPU 용량 까지 버스트하고 수동으로 속도 제한 증가 요청을 할 필요가 없습니다.

• 공정한 리소스 공유: 경쟁 인덱스 빌드는 유사한 초당 토큰 할당으로 수렴되어 고갈을 방지합니다.

• 안전 증가: 낮은 동시성에서 시작하여 명시적인 내부 성공 신호가 있을 때만 동적으로 증가합니다.

인덱스 삽입 및 업데이트 속도 제한

인덱스 비율 제한은 MongoDB Vector Search 자동 임베딩 인덱스에서 특정 작업 중에 임베딩이 생성되는 최대 빈도와 토큰 수를 제한합니다. 이러한 작업에는 삽입(새 데이터가 인덱스 에 추가됨) 또는 업데이트(재포함이 필요한 기존 데이터 변경 사항)가 포함됩니다.

쿼리 작업 속도 제한

쿼리 속도 제한은 MongoDB Vector Search 자동 임베딩 인덱스에서 연산을 $vectorSearch 사용하는 모든 쿼리에 대한 최대 임베딩 생성 빈도와 토큰 수를 제어합니다.