对于 AI 代理:可在 https://www.mongodb.com/zh-cn/docs/llms.txt 获取文档索引—通过在任何 URL 路径后添加 .md 可获取所有页面的 Markdown 版本。
Docs 菜单

直接到Ops Manager中的 S3 备份

当您启用直接到 S3 备份时, MongoDB 助手会使用Ops Manager提供的预签名 URL 将快照块直接上传到 S3。 Ops Manager仅处理上传的元数据,例如生成预签名 URL、跟踪区块清单和发出完成信号。快照数据路径绕过Ops Manager ,不再流经Ops Manager服务器。这消除了大型部署和频繁备份计划的代理瓶颈。

本主题介绍如何启用直接到 S3 备份以及如何配置其可选设置。

重要

直接到 S3 备份需要Ops Manager 9.0.0 或更高版本或Ops Manager 8.0.27 或更高版本,并且每个托管上有最低MongoDB 助手版本运行备份:

Ops Manager 版本
最低MongoDB 助手版本

9.0

109.0.0.9279-1

8.0

108.0.27.9088-1

当对备份作业启用了直接到 S3 备份并且部署上的MongoDB 助手满足最低版本要求时, Ops Manager会执行以下操作:

  • Ops Manager使用为快照块存储配置的 S3凭证生成预签名上传 URL。 URL点块存储使用的同一个 S3 存储桶。

  • Ops Manager在备份游标描述中设置 uploadPath=AGENT_DIRECT_S3。 MongoDB 助手会读取此值,冻结作业的上传路径,并使用这些预签名 URL 将快照块直接上传到 S3。

  • Ops Manager通过区块清单 API 跟踪上传完成情况。不会发生 /dataBlocks 代理上传调用。

由于MongoDB 助手将快照数据直接上传到 S3,因此Ops Manager不再位于备份的数据路径中。 Ops Manager仍然只负责备份元数据。

直接到 S3 备份和通过Ops Manager流数据的标准备份可以共存。

在启用直接到 S3 备份的作业中,当MongoDB 助手版本低于最低版本时, Ops Manager会回退到标准路径。回退将持续到您升级MongoDB 助手为止。混合版本队列继续成功备份:

  • 满足版本要求的部署使用直接到 S3 备份。

  • 不满足版本要求的部署使用标准数据路径。升级MongoDB 助手后,作业会在第一个快照自动切换到直接到 S3 备份,而无需执行进一步动作。已在进行中的快照将在其原始上传路径上完成。

此外,您可以手动为作业启用或禁用直接到 S3 备份,如下所述。

注意

直接到 S3 备份仅适用于快照区块数据。用于时间点恢复的 oplog 数据继续使用通过配置的oplog存储的标准备份路径。

在启用Direct to S3 Backup 之前:

  • 确保您运行的是Ops Manager 9.0.0 或更高版本,或者Ops Manager 8.0.27 或更高版本。

  • 确保运行备份的每台托管上的MongoDB 助手版本至少为 109.0.0.9279-1(对于Ops Manager 9.0 部署)或 108.0.27.9088-1(对于Ops Manager 8.0 部署)。

  • 确保部署具有 S3快照存储(块存储)。 Ops Manager使用与块存储相同的 S3 存储桶和凭证。

每台运行备份的托管都必须能够:

  • 解析 S3 或 S3 兼容终结点的 DNS 名称

  • 建立与该终结点的出站 HTTPS 连接

  • 使用Ops Manager生成的 S3 预签名 URL 上传数据

启用“直接到 S3 备份”后,大容量上传路径会从Ops Manager应用程序服务器移动到每台运行MongoDB 助手的托管。以前,只有Ops Manager服务器需要对 S3 进行网络访问权限。在启用该功能之前,请验证从备份托管到 S3 端点的出站连接。

MongoDB助手不需要 S3访问权限密钥或 IAM 角色。 Ops Manager使用为快照存储配置的 S3凭证生成所有预签名 URL。这些凭证必须允许对存储桶进行预签名的 PUT 操作,而不仅仅是读取。

要启用直接到 S3 备份,请完成以下步骤。

1
  1. 在MongoDB Ops Manager Admin 控制台中,单击 General 和 Ops Manager Config。

  2. 单击 Custom 标签页。

  3. 添加以下键值对之一,以在全局或项目级别启用Direct to S3 Backup:

    访问级别
    键
    值

    项目

    mms.featureFlag.backup.d2s3

    controlled

    全局

    mms.featureFlag.backup.d2s3

    enabled

  4. 单击 Save(连接)。

2

(有条件)在项目中启用 Direct to S3 Backup。

如果您在上一步中将该标志设立为 controlled,请在项目设置中启用该功能:

  1. 在MongoDB Ops Manager项目中,单击 Settings。

  2. 单击 Beta Features标签页,然后单击 Backup D2s3。

3

(有条件)对现有备份作业启用直接到 S3 备份。

在启用了“直接到 S3 备份”的项目中,新的备份作业会在已启用“直接到 S3 备份”的情况下开始。每个新作业的第一个快照都会直接上传到 S3,无需针对每个作业动作。

在启用该功能之前存在的备份作业将保留其现有设置。您还可以在任何作业中启用或禁用直接到 S3 备份。要更改作业的设置:

  1. 单击 Admin、Backup 和 Jobs。

  2. 对于目标作业,找到 Direct S3 Backup 行。仅当作业的快照存储是 S3块存储时,才会显示该行。

  3. 将 Direct S3 Backup 设置为 Enabled 或 Disabled。

  4. 对于分片的集群,选择 Apply to all cluster members 以在每个分片和配置服务器上启用该功能。

  5. 单击 Save(连接)。

4

检查运行备份的每个MongoDB 助手的版本,确保其符合Ops Manager部署的最低版本要求。

下表汇总了备份作业使用“直接到 S3 备份”的情况:

Scenario
上传路径

在项目中启用该功能后创建的作业

直接进行 S3 备份,从第一个快照开始

在项目中启用该功能之前创建的作业

标准路径,直到您对作业启用Direct to S3 Backup

已启用直接到 S3 备份且MongoDB 助手低于最低版本的作业

升级MongoDB 助手之前的标准路径。升级后,该作业会在第一个快照切换为直接备份到 S3。

以下可选设置可调整 Direct 至 S3 备份的上传性能。

mms.backup.d2s3.transfer.numWorkers

MongoDB 助手用于直接上传到 S3 备份的并行上传工作线程的数量。默认值:2。您还可以设立每个作业的覆盖。

在Ops Manager配置文件中将此设置与其他 mms.backup.* 属性一起配置。如果设立此属性,则MongoDB 助手会使用确切数量的工作线程并跳过自身的自动调整。如果未设置, MongoDB 助手会根据主机的 CPU 和内存调整工作线程计数。

mms.backup.d2s3.transfer.maxNumUnitOfWorkBlocks

Direct to S3 上传路径中每个工作单元的最大区块数。未设置时, MongoDB 助手会回退到内部默认100。

使用以下方法之一配置此设置:

  • 在Ops Manager界面中应用全局Ops Manager配置设置。

  • 使用 Jobs 页面上的 WTCheckpoint Config 对话框应用特定于作业的配置。

注意

S3 的并发连接数随着同时运行的备份作业数量的增加而增加。如果您的部署同时运行多个备份作业,S3 连接总数可能会很高。

  • Ops Manager负载: Ops Manager应用程序服务器不再承载快照区块有效负载,但仍会处理预签名、清单验证、作业状态和元数据写入。针对控制平面工作负载调整Ops Manager大小。

  • 代理托管大小调整:Direct to S3 Backup 将压缩、哈希、TLS 和并行 S3 上传从Ops Manager服务器转移到运行MongoDB 助手的每台托管。在启用该功能之前,请确保这些主机有足够的 CPU、内存和出站网络容量来支持额外的工作负载。捕获基线快照持续时间和资源使用情况,以便比较启用 Direct 到 S3 后的影响。

    • 当 mms.backup.d2s3.transfer.numWorkers 未设立时, MongoDB 助手会根据允许托管使用的 CPU 和内存自动备份工作线程的数量。起价为该配额的每个 4 个 vCPU 大约有一个工作线程,最多为 16 个工作线程。每个工作线程在峰值时大约可以使用一个 CPU 核心,因此计划至少保留主机允许 CPU容量的 25% 用于备份。

    • 在快照期间,监控MongoDB 助手CPU 使用率和数据库延迟。如果MongoDB 助手受 CPU 限制或数据库延迟增加,请考虑增加容量或减少 numWorkers。

  • 网络路径:总备份吞吐量是每个MongoDB 助手到 S3 路径的总和。确认您的 S3 端点、 VPC端点或代理可以处理所有同时备份主机的预期并发。

  • Ops Manager权限:为快照存储配置的 S3凭证必须允许对用于快照的存储桶和前缀进行预签名 PUT 操作。

  • MongoDB 助手权限: MongoDB助手没有 S3凭证。 Ops Manager会为每个区块上传和验证生成预签名 URL。

  • 不变性:直接到 S3 备份与 S3 对象锁兼容。不可变快照所需的对象版本 ID 记录在区块清单中。

  • 要学习;了解在恢复期间直接从 S3 下载快照数据的配套功能,请参阅直接从 S3 恢复。

  • 要学习;了解Ops Manager中备份的工作原理,请参阅备份过程。

  • 要学习;了解所需的备份资源,请参阅管理 S3 兼容快照存储。