Atlas Online Archive功能旨在通过将MongoDB Atlas 群集中不常访问的数据存档到云对象存储来帮助组织优化数据存储和查询成本。借助 Online 存档,您能力管理数据的生命周期,在实时数据集和存档数据集之间保持统一的查询体验,降低操作复杂性,同时确保数据在需要时保持可访问性。
使用 Online 存档的主要注意事项
使用Atlas Online Archive时,请考虑以下要求、期望和限制。
集群需求
Atlas 中的 Online Archive 仅适用于 M10
及更大的集群。
所需权限
要创建或删除“在线档案”,您必须拥有以下角色之一:
性能预期
使用 Online 存档时,请考虑以下性能预期:
存档作业: MongoDB定期运行存档作业,将数据从集群移动到云存储。这些作业异步运行,旨在最大限度地减少对集群的性能影响。
集群容量:存档作业会消耗集群资源。确保您的Atlas 集群有足够的容量来支持活动工作负载和存档任务,以避免资源紧张。
查询性能:存档数据驻留在读取优化的云对象存储中,与在Atlas 集群上查询实时数据相比,该存储的查询性能可能较低。
限制
Online Archive 不支持以下活动:
Online 存档和Atlas Data Federation
当您为集合配置 Online 存档时, Atlas使用Atlas Data Federation创建只读联合数据库实例。这样就可以使用相同的集合和数据库名称对实时集群和存档数据进行统一查询。
您可以根据时间字段或自定义筛选器定义存档规则。Atlas持续评估这些规则,并自动将匹配的文档传输到Atlas托管的云对象存储(例如Amazon Web Services S3、 Azure Blob)。
Data Federation区域 | Amazon Web Services地区 | Atlas 区域 |
---|---|---|
美国北弗吉尼亚州 |
|
|
美国俄勒冈州 |
|
|
巴西圣保罗 |
|
|
爱尔兰 |
|
|
英国英格兰伦敦 |
|
|
德国法兰克福 |
|
|
Tokyo, Japan |
|
|
Seoul, South Korea |
|
|
印度孟买 |
|
|
新加坡 |
|
|
澳大利亚悉尼 |
|
|
加拿大魁北克省蒙特利尔 |
|
|
重要
Atlas 使用 Amazon 服务器端加密 S3 托管密钥 (SSE-S3) 对存档数据进行加密。Atlas 无法使用您在集群数据上使用的任何静态加密密钥。
Data Federation区域 | Azure区域 | Atlas 区域 |
---|---|---|
Virginia, USA |
|
|
巴西圣保罗 |
|
|
荷兰 |
|
|
重要
Atlas 使用 Azure 存储服务端加密 对存档数据进行加密。Atlas 无法使用您在集群数据上使用的任何静态加密密钥。
Data Federation区域 | Google Cloud 区域 | Atlas 区域 |
---|---|---|
Iowa, USA |
|
|
比利时 |
|
|
重要
Atlas 使用 Google Cloud 存储服务端加密 对存档数据进行加密。Atlas 无法使用您在集群数据上使用的任何静态加密密钥。
根据您在存档规则中指定的 Atlas 标准存档数据。标准根据要存档的集合类型而有所不同:
对于标准集合,标准可以是以下之一:
归档数据的日期字段和在 Atlas 集群上保留数据的天数的组合。 当当前 日期超过指定日期字段的值时, Atlas 会从当前时间中减去天数,然后 将这个时间之后的数据存档。
自定义查询。Atlas 运行存档规则中指定的查询, 以选择要存档的文档。
对于时间序列集合,标准是时间字段和在 Atlas 集群上保留数据的天数的组合。当当前时间超过指定时间字段的值时,Atlas 会从当前时间中减去天数,然后将这个时间之后的数据存档。
在集群上配置 Online 存档时, Atlas会创建两个联合数据库实例:
您只能通过存档的“联合数据库实例”查询存档中的数据。
集群和存档的联合数据库实例,它允许您查询集群和已存档数据。
用例
您可以使用 Online 存档来降低存储成本并管理冷数据,同时保留通过查询进行的访问权限。典型使用案例包括:
Large-scale historical datasets:您的集群存储大量数据,例如日志、指标或ACID 事务记录,您需要在不删除数据的情况下降低操作存储成本。Online 存档将冷数据重新定位到更便宜的云对象存储,同时保持可通过查询访问,从而提供帮助。
Time series archiving:您的应用程序从物联网(IoT)设备、工业传感器或金融系统等来源获取高频时间序列数据。Online 存档允许您保留这些数据以用于合规、审核或分析,同时最大限度地减少对集群性能的影响。
Cold operational data:您管理的应用程序数据(例如订单历史记录、已完成的服务请求、旧发票)在达到一定年龄后很少被访问,但必须保留以供参考或满足监管要求。
Long-term customer records:您的系统会在法定保留期限内或进行事后分析时保留已存档的客户档案、订阅历史记录或用户活动日志,但这些文档不再需要频繁访问权限。
Compliance and audit:您的组织必须保留用于监管或Atlas 审核目的的数据(例如,财务交易、医疗日志、访问权限日志)。存档可实现经济高效的长期存储,而无需修改查询接口。
Archiving for analytics:您可以存档日常操作不需要但偶尔分析趋势、报告或预测的数据,而不会增加主节点 (primary node in the replica set)集群的开销。
Online 存档有助于将冷数据与热工作负载隔离开来,同时保持两者的统一接口。这样可以提高运营效率、节省费用并实现保留合规,而所有这些都无需更改应用程序。
后续步骤
如需亲身体验,您可以通过Atlas控制台和 API 为集群上的集合创建 Online 存档 。创建后,您可以: