Configure mongot for MongoDB Vector Search Automated Embedding

自动嵌入的功能

无自动嵌入，您的应用程序必须：

1. 为插入或更新的每个文档生成嵌入。

2. 将该嵌入与集合中的文档一起存储。

3. 在查询时间使用相同模型为每个查询生成嵌入。

4. 向 $vectorSearch 提交查询嵌入。

借助自动嵌入，mongot 可以处理步骤 1、2 和 3。您的应用程序：

1. 为文本字段配置具有 autoEmbed 字段类型的 MongoDB 向量搜索索引。

2. 正常插入和更新文档。

   mongot 读取文本字段，通过配置的嵌入模型生成嵌入，并将其存储。

3. 使用查询文本而非预计算嵌入来发出 $vectorSearch 查询。

   mongot 为查询文本生成嵌入。

支持的嵌入提供商

自管理 mongot 自动嵌入与 Voyage AI 嵌入模型集成。

您需要支付嵌入生成的费用。要学习更多信息，请参阅管理自动嵌入的计费。

先决条件

要使用自动嵌入，您必须具备以下先决条件：

• mongot 在自管理部署（Community tarball 或容器、本地开发和通过 Kubernetes 操作符的企业版）上使用 1.70.1 或更高版本。

• MongoDB 8.3 or later for standalone and Kubernetes Operator-managed deployments. To learn more, see Compatibility and Requirements for mongot.

• Two Voyage AI API keys.

  使用两个独立的密钥，一个用于索引时间嵌入生成，一个用于查询时间。独立密钥可以将查询工作负载与索引工作负载隔离，并允许独立的速率限制计费。要学习；了解更多信息，请参阅 速率限制。

• 从 mongot 到嵌入终结点的出站网络访问。

  The default endpoint is https://ai.mongodb.com/v1/embeddings. This endpoint proxies Voyage AI with MongoDB-managed billing, for keys generated using the Atlas UI. You can also use https://api.voyageai.com/v1/embeddings for direct Voyage AI access if you generated the API key directly from Voyage AI.

步骤

docker run \
   -e VOYAGE_API_KEY=<your-voyage-api-key> \
   -p 27017:27017 \
   mongodb/mongodb-atlas-local:preview

docker run \
   -e VOYAGE_API_KEY=<your-voyage-api-key> \
   -e EMBEDDING_PROVIDER_ENDPOINT=https://api.voyageai.com/v1/embeddings \
   -p 27017:27017 \
   mongodb/mongodb-atlas-local:preview

embedding:
  queryKeyFile: /etc/mongot/secrets/voyage-api-query-key
  indexingKeyFile: /etc/mongot/secrets/voyage-api-indexing-key
  providerEndpoint: https://ai.mongodb.com/v1/embeddings

db.movies.createSearchIndex(
  "movie-semantic-index",
  "vectorSearch",
    {
      "fields": [
        {
          "type": "autoEmbed",
          "modality": "text",
          "path": "plot",
          "model": "voyage-4",
          "numDimensions": 1024,
          "similarity": "cosine",
          "indexingMethod": "hnsw",
          "hnswOptions": {
            "maxEdges": 16,
            "numEdgeCandidates": 50
          },
          "quantization": "scalar"
        },
        {
          "type": "filter",
          "path": "genre"
        }
      ]
    }
)

db.movies.aggregate([
  {
    "$vectorSearch": {
      "index": "movie-semantic-index",
      "path":  "plot",
      "query": "a heist gone wrong in a rainy city",
      "model": "voyage-4",
      "numCandidates": 100,
      "limit": 10
    }
  },
  {
    "$project": {
      "_id":   0,
      "title": 1,
      "score": { $meta: "vectorSearchScore" }
    }
  }
])

嵌入存储

mongot 将嵌入持久存储在集群上的专用内部数据库中。mongot 不会在源集合中存储嵌入。mongot 可以从源文本重新生成嵌入，并且您需要支付嵌入生成费用。

对嵌入模型、输出维度或量化的更改 trigger 受影响索引的完全重新嵌入，因此，您需支付嵌入生成费用。请参阅 mongot 重新生成嵌入时。

要了解更多，请参阅 生成的嵌入集合。

When mongot Regenerates Embeddings

mongot 在发生以下任何情况时，会重新生成 autoEmbed 字段的嵌入：

• 您插入一个文档。

• 您更改文档中的嵌入字段。mongot 通过变更流检测到更改。

• 您在索引定义中更改嵌入模型。

• 您更改嵌入输出维度或数据类型。

• 您更改了字段路径（Field Path）。

如果您更改任何后三个项，mongot 将从头开始重建整个索引。对于大型集合，重建成本可能很高。计划模型变更。

费用和速率限制

MongoDB 按模型特定费率按百万个令牌收费。索引费用与集合中索引字段的总文本量成正比。查询费用与查询文本量成正比。

If you use the Voyage AI API key that you created using your Atlas account, you can view API key usage and rate limits in the Atlas UI. To learn more, see Manage Billing for the Embedding and Reranking API. If you use keys created directly from Voyage AI, you must monitor your usage and rate limits in the Voyage AI dashboard.

Voyage AI 侧的速率限制错误会出现在 mongot 日志中，并作为受影响索引上的失败文档指示符。这些错误不会禁用索引，但会延迟新文档的索引。

失败模式

限制

自动嵌入应用以下限制：

• 预览状态。在自动嵌入普遍可用之前，配置形状、支持的模型和默认终结点可能会发生变化。

• 每个字段一个嵌入模型。不支持混合模型索引。

• 无嵌入模型故障转移。如果 Voyage AI 终结点无法访问，则新文档的索引将停滞。

后续步骤

• 自动嵌入概述以获取跨平台概念性概述。

• 有关完整 mongot 配置参考，请配置 mongot。