为 MongoDB 向量搜索 自动嵌入配置 mongot

自动嵌入的功能

无自动嵌入，您的应用程序必须：

1. 为插入或更新的每个文档生成嵌入。

2. 将该嵌入与集合中的文档一起存储。

3. 在查询时间使用相同模型为每个查询生成嵌入。

4. 向 $vectorSearch 提交查询嵌入。

借助自动嵌入，mongot 可以处理步骤 1、2 和 3。您的应用程序：

1. 为文本字段配置具有 autoEmbed 字段类型的 MongoDB 向量搜索索引。

2. 正常插入和更新文档。

   mongot 读取文本字段，通过配置的嵌入模型生成嵌入，并将其存储。

3. 使用查询文本而非预计算嵌入来发出 $vectorSearch 查询。

   mongot 为查询文本生成嵌入。

支持的嵌入提供商

自管理 mongot 自动嵌入与 Voyage AI 嵌入模型集成。

您需要支付嵌入生成的费用。要学习更多信息，请参阅管理自动嵌入的计费。

先决条件

要使用自动嵌入，您必须具备以下先决条件：

• mongot 在自管理部署（Community tarball 或容器、本地开发和通过 Kubernetes 操作符的企业版）上使用 1.70.1 或更高版本。

• 独立运行的实例部署的 MongoDB 8.2 或更高版本，或 Kubernetes 操作符托管部署的 MongoDB 8.3 或更高版本。要了解更多信息，请参阅 mongot 的兼容性和要求。

• 两个 Voyage AI API 密钥。

  使用两个独立的密钥，一个用于索引时间嵌入生成，一个用于查询时间。独立密钥可以将查询工作负载与索引工作负载隔离，并允许独立的速率限制计费。要学习；了解更多信息，请参阅 速率限制。

• 从 mongot 到嵌入终结点的出站网络访问。

  默认终结点是 https://ai.mongodb.com/v1/embeddings。此终结点使用 MongoDB 托管的计费代理 Voyage AI，用于使用 Atlas 用户界面生成的密钥。如果您直接从 Voyage AI 生成了 API 密钥，也可以使用 https://api.voyageai.com/v1/embeddings 直接访问 Voyage AI。

步骤

docker run \
   -e VOYAGE_API_KEY=<your-voyage-api-key> \
   -p 27017:27017 \
   mongodb/mongodb-atlas-local:preview

docker run \
   -e VOYAGE_API_KEY=<your-voyage-api-key> \
   -e EMBEDDING_PROVIDER_ENDPOINT=https://api.voyageai.com/v1/embeddings \
   -p 27017:27017 \
   mongodb/mongodb-atlas-local:preview

embedding:
  queryKeyFile: /etc/mongot/secrets/voyage-api-query-key
  indexingKeyFile: /etc/mongot/secrets/voyage-api-indexing-key
  providerEndpoint: https://ai.mongodb.com/v1/embeddings

db.movies.createSearchIndex(
  "movie-semantic-index",
  "vectorSearch",
    {
      "fields": [
        {
          "type": "autoEmbed",
          "modality": "text",
          "path": "plot",
          "model": "voyage-4",
          "numDimensions": 1024,
          "similarity": "cosine",
          "indexingMethod": "hnsw",
          "hnswOptions": {
            "maxEdges": 16,
            "numEdgeCandidates": 50
          },
          "quantization": "scalar"
        },
        {
          "type": "filter",
          "path": "genre"
        }
      ]
    }
)

db.movies.aggregate([
  {
    "$vectorSearch": {
      "index": "movie-semantic-index",
      "path":  "plot",
      "query": "a heist gone wrong in a rainy city",
      "model": "voyage-4",
      "numCandidates": 100,
      "limit": 10
    }
  },
  {
    "$project": {
      "_id":   0,
      "title": 1,
      "score": { $meta: "vectorSearchScore" }
    }
  }
])

嵌入存储

mongot 将嵌入持久存储在集群上的专用内部数据库中。mongot 不会在源集合中存储嵌入。mongot 可以从源文本重新生成嵌入，并且您需要支付嵌入生成费用。

对嵌入模型、输出维度或量化的更改 trigger 受影响索引的完全重新嵌入，因此，您需支付嵌入生成费用。请参阅 mongot 重新生成嵌入时。

要了解更多，请参阅 生成的嵌入集合。

当 mongot 重新生成嵌入时

mongot 在发生以下任何情况时，会重新生成 autoEmbed 字段的嵌入：

• 您插入一个文档。

• 您更改文档中的嵌入字段。mongot 通过变更流检测到更改。

• 您在索引定义中更改嵌入模型。

• 您更改嵌入输出维度或数据类型。

• 您更改了字段路径（Field Path）。

如果您更改任何后三个项，mongot 将从头开始重建整个索引。对于大型集合，重建成本可能很高。计划模型变更。

费用和速率限制

MongoDB 按模型特定费率按百万个令牌收费。索引费用与集合中索引字段的总文本量成正比。查询费用与查询文本量成正比。

如果您使用通过 Atlas 账户创建的 Voyage AI API 密钥，则可以在 Atlas 用户界面中查看 API 密钥使用情况和速率限制。要学习；了解更多信息，请参阅 管理 Embedding and Reranking API 的计费。如果您使用直接从 Voyage AI 创建的密钥，则必须在 Voyage AI 仪表盘中监控使用情况和速率限制。

Voyage AI 侧的速率限制错误会出现在 mongot 日志中，并作为受影响索引上的失败文档指示符。这些错误不会禁用索引，但会延迟新文档的索引。

失败模式

限制

自动嵌入应用以下限制：

• 预览状态。在自动嵌入普遍可用之前，配置形状、支持的模型和默认终结点可能会发生变化。

• 每个字段一个嵌入模型。不支持混合模型索引。

• 无嵌入模型故障转移。如果 Voyage AI 终结点无法访问，则新文档的索引将停滞。

后续步骤

• 自动嵌入概述以获取跨平台概念性概述。

• 有关完整 mongot 配置参考，请配置 mongot。