对于 AI 代理:可在 https://www.mongodb.com/zh-cn/docs/llms.txt 获取文档索引—通过在任何 URL 路径后添加 .md 可获取所有页面的 Markdown 版本。

直接连接到 Ops Manager 中的 S3 备份

启用 Direct to S3 备份 后,MongoDB Agent 会使用 MongoDB Ops Manager 提供的预签名 URL 将快照块直接上传到 S3。MongoDB Ops Manager 仅处理上传的元数据,例如生成预签名 URL、跟踪块清单和发出完成信号。快照数据路径绕过 MongoDB Ops Manager,不再流经 MongoDB Ops Manager 服务器。这消除了大型部署和频繁备份安排的代理瓶颈。

本主题介绍了如何启用 Direct to S3 备份以及如何配置其可选设置。

重要

直接备份到 S3 需要 MongoDB Ops Manager 9.0.0 或更高版本,或者 MongoDB Ops Manager 8.0.27 或更高版本,并且在运行备份的每个托管上至少安装 MongoDB Agent 版本:

Ops Manager 版本
MongoDB Agent 最低版本

9.0

109.0.0.9279-1

8.0

108.0.27.9088-1

当备份作业上启用了“直接到 S3 备份”功能,且部署上的 MongoDB Agent 满足最低版本要求时,MongoDB Ops Manager 会执行以下操作:

  • MongoDB Ops Manager 使用为快照块存储配置的 S3 凭证生成预签名上传 URL。这些 URL 指向块存储使用的同一个 S3 存储桶。

  • Ops Manager 在备份游标说明中设置 uploadPath=AGENT_DIRECT_S3。MongoDB Agent 读取此值,冻结作业的上传路径,并使用这些预签名 URL 将快照块直接上传到 S3。

  • MongoDB Ops Manager 通过块清单 API 追踪上传完成。没有 /dataBlocks 代理上传调用发生。

由于 MongoDB Agent 直接将快照数据上传到 S3,因此 Ops Manager 不再处于备份的数据路径中。MongoDB Ops Manager 仅负责备份元数据。

直接备份到 S3 和通过 MongoDB Ops Manager 流式传输数据的标准备份可以共存。

在启用了 Direct to S3 Backup 的作业中,如果 MongoDB Agent 版本低于最低要求,MongoDB Ops Manager 将回退到标准路径。回退将持续到您升级 MongoDB Agent 为止。混合版本集群继续成功备份:

  • 满足版本要求的部署使用 Direct to S3 备份。

  • 不符合版本要求的部署使用标准数据路径。在您升级 MongoDB Agent 后的第一个快照上,作业会自动切换到 Direct to S3 备份,无需执行其他操作。已经在进行中的快照会通过其原始上传路径完成。

此外,您可以手动启用或禁用作业的 Direct to S3 备份,如下所述。

注意

Direct to S3 Backup 仅适用于快照块数据。用于时间点恢复的 oplog 数据继续使用通过配置的 oplog 存储的标准备份路径。

在启用 Direct to S3 备份之前:

  • 确保您运行的是 Ops Manager 9.0.0 或更高版本,或 Ops Manager 8.0.27 或更高版本。

  • 对于 Ops Manager 9.0 部署,请确保运行备份的每台托管上的 MongoDB Agent 版本至少为 109.0.0.9279-1;对于 Ops Manager 8.0 部署,请确保版本至少为 108.0.27.9088-1。

  • 确保部署具有S3 快照存储(块存储)。MongoDB Ops Manager 使用与块存储相同的 S3 存储桶和凭证。

每个运行备份的托管都必须能够:

  • 解析 S3 或 S3 兼容终结点的 DNS 名称

  • 建立与该终结点的出站 HTTPS 连接

  • 使用 Ops Manager 生成的 S3 预签名 URL 上传数据

启用 Direct to S3 备份 后,大容量上传路径将从 MongoDB Ops Manager 应用程序服务器移动到运行 MongoDB Agent 的每台托管。以前,只有 MongoDB Ops Manager 服务器需要对 S3 的网络访问权限。在启用此功能之前,请验证从备份托管到 S3 终结点的出站连接。

MongoDB 代理不需要 S3 访问密钥或 IAM 角色。MongoDB Ops Manager 使用为快照存储配置的 S3 凭证生成所有预签名 URL。这些凭证必须允许对存储桶进行预签名的 PUT 操作,而不仅仅是读取。

要启用 Direct to S3 备份,请完成以下步骤。

1
  1. 在MongoDB Ops Manager Admin 控制台中,单击 General 和 Ops Manager Config。

  2. 单击 Custom 标签页。

  3. 添加以下键值对之一,以在全局或项目级别启用 Direct to S3 备份:

    访问级别
    键
    值

    项目

    mms.featureFlag.backup.d2s3

    controlled

    全局

    mms.featureFlag.backup.d2s3

    enabled

  4. 单击 Save(连接)。

2

(可选)在项目中启用 Direct to S3 备份。

如果您在上一个步骤中将标志设置为 controlled,请在项目设置中启用该功能:

  1. 在MongoDB Ops Manager项目中,单击 Settings。

  2. 单击 Beta Features标签页,然后单击 Backup Direct To S3。

3

(可选)在现有备份作业上启用 Direct to S3 备份。

在启用了 Direct to S3 备份 的项目中,新的备份作业在启动时会自动启用 Direct to S3 备份。每个新作业的第一个快照会直接上传到 S3,无需执行任何针对作业的操作。

在您启用该功能之前存在的备份作业将保留其现有设置。您还可以对任何作业启用或禁用 Direct to S3 备份。要更改作业的设置:

  1. 单击 Admin,Backup,然后单击 Jobs。

  2. 对于目标作业,找到 Direct S3 Backup 行。仅当作业的快照存储为 S3 块存储时,才会显示该行。

  3. 将 Direct S3 Backup 设置为 Enabled 或 Disabled。

  4. 对于分片集群,选择 Apply to all cluster members 以在每个分片和配置服务器上启用该功能。

  5. 单击 Save(连接)。

4

检查运行备份的每个 MongoDB Agent 的版本,并确保其符合您的 MongoDB Ops Manager 部署的最低版本要求。

下表总结了备份作业何时使用 Direct to S3 Backup:

Scenario
上传路径

在项目中启用该功能后创建的作业

直接转到 S3 备份,从第一个快照开始

在您启用项目中的该功能之前创建的作业

在作业上启用 Direct to S3 备份之前的标准路径

启用了“直接备份到 S3”且 MongoDB Agent 版本低于最低要求的作业

在升级 MongoDB Agent 之前,请遵循标准路径。升级后的第一个快照,作业将切换到 Direct to S3 备份。

以下可选设置可调整 Direct to S3 备份上传性能。

mms.backup.d2s3.transfer.numWorkers

MongoDB Agent 用于直接上传到 S3 备份的并行上传工作线程数。默认值:2。您还可以设置每个作业的覆盖项。

在 MongoDB Ops Manager 配置文件中与其他 mms.backup.* 属性一起配置此设置。如果设置此属性,MongoDB Agent 将使用该确切数量的 worker 并跳过其自身的自动调整。如果将其保留为未设置,MongoDB Agent 将根据托管的 CPU 和内存来调整 worker 数量。

mms.backup.d2s3.transfer.maxNumUnitOfWorkBlocks

Direct to S3 上传路径中每个工作单元的最大块数。如果未设置,MongoDB Agent 将回退到内部默认值 100。

使用以下任一方式配置此设置:

注意

S3 的并发连接数随着同时运行的备份作业数量的增加而增加。如果您的部署同时运行多个备份作业,则 S3 连接的总数可能会很高。

  • Ops Manager 负载:Ops Manager 应用程序服务器不再承载快照块有效负载,但它们仍处理预签名、清单验证、作业省/市/自治区和元数据写入。为控制平面工作负载调整 MongoDB Ops Manager 的大小。

  • 代理托管规模设置: Direct to S3 备份将压缩、哈希、TLS 和并行 S3 上传从 MongoDB Ops Manager 服务器移动到运行 MongoDB Agent 的每个托管。在启用该功能之前,请确保这些托管具有足够的 CPU、内存和出站网络容量,以应对额外的工作负载。获取基线快照持续时间和资源使用情况,以便比较在启用 Direct to S3 后的影响。

    • 如果未设置 mms.backup.d2s3.transfer.numWorkers,MongoDB Agent 将根据托管允许使用的 CPU 和内存自动调整备份工作线程的数量。它从该配额中每 4 个 vCPU 大约一个 worker 开始,最多可达 16 个 worker。每个 worker 在高峰期大约可以使用一个 CPU 核心,因此请计划至少保留托管允许的 CPU 容量的 25% 用于备份。

    • 在快照期间,请监控 MongoDB Agent 的 CPU 使用率和数据库延迟。如果 MongoDB Agent 受到 CPU 限制或数据库延迟增加,请考虑增加容量或减少 numWorkers。

  • 网络路径:总备份吞吐量是所有 MongoDB 代理到 S3 的路径的总和。确认您的 S3 终结点、VPC 终结点或代理可以处理当所有托管同时备份时的预期并发性。

  • MongoDB Ops Manager 权限:为快照存储配置的 S3 凭证必须允许对用于快照的存储桶和前缀进行预签名 PUT 操作。

  • MongoDB Agent 权限:MongoDB Agent 没有 S3 凭证。MongoDB Ops Manager 为每个块上传和验证生成预签名 URL。

  • 不可变性: 直接到 S3 备份兼容 S3 对象锁。不可变快照所需的对象版本 ID 记录在块显示文件中。