自动嵌入模型

上下文窗口大小

上下文窗口是嵌入或 LLM 模型在单个请求中可以考虑的最大文本量（以词元而不是字符为单位来衡量）。每个模型的最大上下文窗口大小如下：

如果索引文本字段比上下文窗口长，文本将自动截断为模型的上下文窗口大小。如果查询文本超出模型的此上下文窗口，则$vectorSearch 查询将失败并出现context-limit-exceeded 错误。

模型成本

模型令牌在索引操作（首次创建、插入、更新）和查询操作期间使用。对于索引操作，只有MongoDB文档中索引为 autoEmbed 类型的字段才会用于嵌入生成并产生令牌使用量。对于查询操作，提供的查询文本用于嵌入生成并产生令牌使用量。每种模型的令牌费用如下：

免费令牌

免费令牌不会刷新。

首次索引构建速率限制

首次索引构建速率限制限制了生成嵌入的最大频率和词元数量。对于首次索引构建（初始同步）期间的大型工作负载，自动嵌入使用不受标准速率限制约束的单独推断机制。此机制针对处理初始索引构建的吞吐量进行了优化，具有以下优点：

• 更快的初始同步：动态扩展嵌入生成吞吐量以处理海量突发。

• 无界吞吐量：突增最大可用 GPU容量，并消除手动提高速率限制的请求。

• 公平资源共享：竞争性索引构建收敛到类似的每秒令牌分配，避免饥饿。

• 安全加速：以低并发启动，仅在出现显式内部成功信号时动态增长。

索引插入和更新速率限制

索引速率限制限制了在MongoDB Vector Search 自动嵌入索引上进行某些操作期间生成嵌入的最大频率和词元数量。这些操作包括插入（将新数据添加到索引中）或更新（需要重新嵌入的现有数据更改）。

查询操作速率限制

查询速率限制控制对MongoDB Vector Search$vectorSearch 自动嵌入索引使用 操作的所有查询的最大嵌入生成频率和词元数量。