重要
The feature described on this page is not currently supported on Atlas Infinite clusters during public preview. For the features supported in public preview, see Public Preview Availability.
Atlas Online Archive功能旨在通过将MongoDB Atlas 群集中不常访问的数据存档到云对象存储来帮助组织优化数据存储和查询成本。借助 Online 存档,您能力管理数据的生命周期,在实时数据集和存档数据集之间保持统一的查询体验,降低操作复杂性,同时确保数据在需要时保持可访问性。
Flex 集群目前不支持此功能。要了解更多信息,请参阅 Atlas Flex 限制。
使用 Online 存档的主要注意事项
使用Atlas Online Archive时,请考虑以下要求、期望和限制。
集群需求
Atlas 中的 Online Archive 仅适用于 M10 及更大的集群。
所需权限
要创建或删除“在线档案”,您必须拥有以下角色之一:
性能预期
使用 Online 存档时,请考虑以下性能预期:
存档作业: MongoDB定期运行存档作业,将数据从集群移动到云存储。这些作业异步运行,旨在最大限度地减少对集群的性能影响。
集群容量:存档作业会消耗集群资源。确保您的Atlas 集群有足够的容量来支持活动工作负载和存档任务,以避免资源紧张。
查询性能:存档数据驻留在读取优化的云对象存储中,与在Atlas 集群上查询实时数据相比,该存储的查询性能可能较低。
重要
默认下, MongoDB会在完成存档作业后等待 5 分钟才能开始另一次运行。
限制
Online Archive 不支持以下活动:
写入在线存档。
存档已封顶的集合。
当总容量超过每五分钟作业周期 2 GB 时存档数据。
7 天后存档大小小于 5 MB 的数据。要了解详情,请参阅限制。
Deleting individual documents, including to respond to a request to delete personal data. To learn more, see Personal Data and Right to Erasure.
重要
Online Archive inherits all Atlas Data Federation limitations. This includes MongoDB Search pipeline stages like $search and $searchMeta and MongoDB Vector Search pipeline stage $vectorSearch, which are not supported when querying archived data. For a complete list of unsupported features, see Atlas Data Federation Query and Feature Limitations.
个人数据与删除权
如果您存档个人数据,则需要规划如何响应数据主体请求,例如根据欧盟《通用数据保护条例》(GDPR) 中的删除权删除个人数据的请求。在线存档是只读的,不支持从存档中删除单个文档。您只能在存档级别删除存档数据:
删除在线存档。您可以手动删除在线存档。删除在线存档五天后,Atlas 会自动删除在线存档存储上的所有文件和元数据。Atlas 删除此数据后,您将无法恢复它。
为存档指定数据保留期。Atlas 会在您指定的天数后删除存档数据,范围从
7到9125天。要学习更多信息,请参阅配置 在线 存档。
要从存档数据中删除个人的个人数据,您必须在应用程序或操作流程中处理删除事宜。要从在线存档中删除单个文档,请执行以下步骤:
将受影响的数据恢复到您的集群。
To learn how to restore archived data with the $merge stage, see Restore Specific Documents from Online Archive.
从集群中删除文档。
To learn more, see Delete Documents.
删除在线存档。
要了解更多信息,请参阅删除在线存档。
创建一个新的在线存档。
要了解更多信息,请参阅配置 Online Archive。
在线存档 和 Atlas Data Federation
当您为集合配置 Online 存档时, Atlas使用Atlas Data Federation创建只读联合数据库实例。这样就可以使用相同的集合和数据库名称对实时集群和存档数据进行统一查询。
您可以根据时间字段或自定义筛选器定义存档规则。Atlas持续评估这些规则,并自动将匹配的文档传输到Atlas托管的云对象存储(例如Amazon Web Services S3、 Azure Blob)。
Data Federation区域 | AWS Region | Atlas 区域 |
|---|---|---|
美国北弗吉尼亚州 |
|
|
美国俄勒冈州 |
|
|
巴西圣保罗 |
|
|
爱尔兰 |
|
|
英国英格兰伦敦 |
|
|
德国法兰克福 |
|
|
Tokyo, Japan |
|
|
Seoul, South Korea |
|
|
印度孟买 |
|
|
新加坡 |
|
|
澳大利亚悉尼 |
|
|
加拿大魁北克省蒙特利尔 |
|
|
重要
Atlas 使用 Amazon 服务器端加密 S3 托管密钥 (SSE-S3) 对存档数据进行加密。Atlas 无法使用您在集群数据上使用的任何静态加密密钥。
Data Federation区域 | Azure 区域 | Atlas 区域 |
|---|---|---|
Virginia, USA |
|
|
巴西圣保罗 |
|
|
荷兰 |
|
|
重要
Atlas 使用 Azure 存储服务端加密 对存档数据进行加密。Atlas 无法使用您在集群数据上使用的任何静态加密密钥。
Data Federation区域 | Google Cloud 区域 | Atlas 区域 |
|---|---|---|
Iowa, USA |
|
|
比利时 |
|
|
重要
Atlas 使用 Google Cloud 存储服务端加密 对存档数据进行加密。Atlas 无法使用您在集群数据上使用的任何静态加密密钥。
根据您在存档规则中指定的 Atlas 标准存档数据。标准根据要存档的集合类型而有所不同:
对于标准集合,标准可以是以下之一:
归档数据的日期字段和在 Atlas 集群上保留数据的天数的组合。 当当前 日期超过指定日期字段的值时, Atlas 会从当前时间中减去天数,然后 将这个时间之后的数据存档。
自定义查询。Atlas 运行存档规则中指定的查询, 以选择要存档的文档。
For time series collections, the criteria is a combination of a time field and number of days to keep data on the Atlas cluster. When the current time exceeds the value of the specified time field, Atlas subtracts the number of days from the current time and then archives data after that many days, hours, and minutes.
在集群上配置 Online 存档时, Atlas会创建两个联合数据库实例:
您只能通过存档的“联合数据库实例”查询存档中的数据。
集群和存档的联合数据库实例,它允许您查询集群和已存档数据。
用例
您可以使用 Online 存档来降低存储成本并管理冷数据,同时保留通过查询进行的访问权限。典型使用案例包括:
Large-scale historical datasets:您的集群存储了大量数据,例如日志、指标或事务记录,并且您需要降低运营存储费用,同时又不想删除数据。在线存档通过将冷数据迁移到更便宜的云对象存储中,同时保持其可通过查询访问,从而提供帮助。
Time series archiving:您的应用程序从物联网(IoT)设备、工业传感器或金融系统等来源获取高频时间序列数据。Online 存档允许您保留这些数据以用于合规、审核或分析,同时最大限度地减少对集群性能的影响。
Cold operational data:您管理的应用程序数据(例如订单历史记录、已完成的服务请求、旧发票)在达到一定年龄后很少被访问,但必须保留以供参考或满足监管要求。
Long-term customer records:您的系统会在法定保留期限内或进行事后分析时保留已存档的客户档案、订阅历史记录或用户活动日志,但这些文档不再需要频繁访问权限。
Compliance and audit:您的组织必须保留用于监管或Atlas 审核目的的数据(例如,财务交易、医疗日志、访问权限日志)。存档可实现经济高效的长期存储,而无需修改查询接口。
Archiving for analytics:您可以存档日常操作不需要但偶尔分析趋势、报告或预测的数据,而不会增加主节点 (primary node in the replica set)集群的开销。
Online 存档有助于将冷数据与热工作负载隔离开来,同时保持两者的统一接口。这样可以提高运营效率、节省费用并实现保留合规,而所有这些都无需更改应用程序。
后续步骤
如需亲身体验,您可以通过Atlas控制台 和API为集群上的集合创建 Online 存档 。创建后,您可以: