对于 AI 代理:可在 https://www.mongodb.com/zh-cn/docs/llms.txt 获取文档索引—通过在任何 URL 路径后添加 .md 可获取所有页面的 Markdown 版本。
Docs 菜单

在线存档概述和限制

重要

The feature described on this page is not currently supported on Atlas Infinite clusters during public preview. For the features supported in public preview, see Public Preview Availability.

Atlas Online Archive功能旨在通过将MongoDB Atlas 群集中不常访问的数据存档到云对象存储来帮助组织优化数据存储和查询成本。借助 Online 存档,您能力管理数据的生命周期,在实时数据集和存档数据集之间保持统一的查询体验,降低操作复杂性,同时确保数据在需要时保持可访问性。

Flex 集群目前不支持此功能。要了解更多信息,请参阅 Atlas Flex 限制。

使用Atlas Online Archive时,请考虑以下要求、期望和限制。

Atlas 中的 Online Archive 仅适用于 M10 及更大的集群。

要创建或删除“在线档案”,您必须拥有以下角色之一:

使用 Online 存档时,请考虑以下性能预期:

  • 存档作业: MongoDB定期运行存档作业,将数据从集群移动到云存储。这些作业异步运行,旨在最大限度地减少对集群的性能影响。

  • 集群容量:存档作业会消耗集群资源。确保您的Atlas 集群有足够的容量来支持活动工作负载和存档任务,以避免资源紧张。

  • 查询性能:存档数据驻留在读取优化的云对象存储中,与在Atlas 集群上查询实时数据相比,该存储的查询性能可能较低。

重要

默认下, MongoDB会在完成存档作业后等待 5 分钟才能开始另一次运行。

Online Archive 不支持以下活动:

  • 写入在线存档。

  • 通过 Atlas 控制台、Atlas Data Federation CLI 或 Atlas Data Federation API 配置或管理 Online Archive 联合数据库实例。

  • 存档已封顶的集合。

  • 当总容量超过每五分钟作业周期 2 GB 时存档数据。

  • 7 天后存档大小小于 5 MB 的数据。要了解详情,请参阅限制。

  • Deleting individual documents, including to respond to a request to delete personal data. To learn more, see Personal Data and Right to Erasure.

重要

Online Archive inherits all Atlas Data Federation limitations. This includes MongoDB Search pipeline stages like $search and $searchMeta and MongoDB Vector Search pipeline stage $vectorSearch, which are not supported when querying archived data. For a complete list of unsupported features, see Atlas Data Federation Query and Feature Limitations.

如果您存档个人数据,则需要规划如何响应数据主体请求,例如根据欧盟《通用数据保护条例》(GDPR) 中的删除权删除个人数据的请求。在线存档是只读的,不支持从存档中删除单个文档。您只能在存档级别删除存档数据:

  • 删除在线存档。您可以手动删除在线存档。删除在线存档五天后,Atlas 会自动删除在线存档存储上的所有文件和元数据。Atlas 删除此数据后,您将无法恢复它。

  • 为存档指定数据保留期。Atlas 会在您指定的天数后删除存档数据,范围从 7 到 9125 天。要学习更多信息,请参阅配置 在线 存档。

要从存档数据中删除个人的个人数据,您必须在应用程序或操作流程中处理删除事宜。要从在线存档中删除单个文档,请执行以下步骤:

1

To learn how to restore archived data with the $merge stage, see Restore Specific Documents from Online Archive.

2

To learn more, see Delete Documents.

3

要了解更多信息,请参阅删除在线存档。

4

要了解更多信息,请参阅配置 Online Archive。

当您为集合配置 Online 存档时, Atlas使用Atlas Data Federation创建只读联合数据库实例。这样就可以使用相同的集合和数据库名称对实时集群和存档数据进行统一查询。

您可以根据时间字段或自定义筛选器定义存档规则。Atlas持续评估这些规则,并自动将匹配的文档传输到Atlas托管的云对象存储(例如Amazon Web Services S3、 Azure Blob)。

Data Federation区域
AWS Region
Atlas 区域

美国北弗吉尼亚州

us-east-1

US_EAST_1

美国俄勒冈州

us-west-2

US_WEST_2

巴西圣保罗

sa-east-1

SA_EAST_1

爱尔兰

eu-west-1

EU_WEST_1

英国英格兰伦敦

eu-west-2

EU_WEST_2

德国法兰克福

eu-central-1

EU_CENTRAL_1

Tokyo, Japan

ap-northeast-1

AP_NORTHEAST_1

Seoul, South Korea

ap-northeast-2

AP_NORTHEAST_2

印度孟买

ap-south-1

AP_SOUTH_1

新加坡

ap-southeast-1

AP_SOUTHEAST_1

澳大利亚悉尼

ap-southeast-2

AP_SOUTHEAST_2

加拿大魁北克省蒙特利尔

ca-central-1

CA_CENTRAL_1

重要

Atlas 使用 Amazon 服务器端加密 S3 托管密钥 (SSE-S3) 对存档数据进行加密。Atlas 无法使用您在集群数据上使用的任何静态加密密钥。

根据您在存档规则中指定的 Atlas 标准存档数据。标准根据要存档的集合类型而有所不同:

对于标准集合,标准可以是以下之一:

  • 归档数据的日期字段和在 Atlas 集群上保留数据的天数的组合。 当当前 日期超过指定日期字段的值时, Atlas 会从当前时间中减去天数,然后 将这个时间之后的数据存档。

  • 自定义查询。Atlas 运行存档规则中指定的查询, 以选择要存档的文档。

在集群上配置 Online 存档时, Atlas会创建两个联合数据库实例:

  • 您只能通过存档的“联合数据库实例”查询存档中的数据。

  • 集群和存档的联合数据库实例,它允许您查询集群和已存档数据。

您可以使用 Online 存档来降低存储成本并管理冷数据,同时保留通过查询进行的访问权限。典型使用案例包括:

  • Large-scale historical datasets:您的集群存储了大量数据,例如日志、指标或事务记录,并且您需要降低运营存储费用,同时又不想删除数据。在线存档通过将冷数据迁移到更便宜的云对象存储中,同时保持其可通过查询访问,从而提供帮助。

  • Time series archiving:您的应用程序从物联网(IoT)设备、工业传感器或金融系统等来源获取高频时间序列数据。Online 存档允许您保留这些数据以用于合规、审核或分析,同时最大限度地减少对集群性能的影响。

  • Cold operational data:您管理的应用程序数据(例如订单历史记录、已完成的服务请求、旧发票)在达到一定年龄后很少被访问,但必须保留以供参考或满足监管要求。

  • Long-term customer records:您的系统会在法定保留期限内或进行事后分析时保留已存档的客户档案、订阅历史记录或用户活动日志,但这些文档不再需要频繁访问权限。

  • Compliance and audit:您的组织必须保留用于监管或Atlas 审核目的的数据(例如,财务交易、医疗日志、访问权限日志)。存档可实现经济高效的长期存储,而无需修改查询接口。

  • Archiving for analytics:您可以存档日常操作不需要但偶尔分析趋势、报告或预测的数据,而不会增加主节点 (primary node in the replica set)集群的开销。

Online 存档有助于将冷数据与热工作负载隔离开来,同时保持两者的统一接口。这样可以提高运营效率、节省费用并实现保留合规,而所有这些都无需更改应用程序。

如需亲身体验,您可以通过Atlas控制台 和API为集群上的集合创建 Online 存档 。创建后,您可以: