重要
在公共预览版期间,Atlas Infinite 集群目前不支持本页面描述的功能。有关公共预览版中支持的功能,请参阅 公共预览版可用性。
您可以将 M10+ Atlas集群配置为每分钟将系统日志导出到外部服务。将日志导出到外部服务可以实现日志的集中管理、长期保留以及与现有监控和可观察性工具的集成。
支持的日志类型
Atlas支持导出以下日志类型:
mongodlogsmongoslogsmongod-auditlogsmongos-auditlogs
您可以指定要导出的日志类型,并配置最多 10 条导出路径,以将日志同时发送到多个目标。
重要
日志可能包含敏感信息(包括 PII)。您负责在外部服务中存储和处理日志。要让Atlas在导出日志之前编辑某些信息,联系MongoDB支持部门。
Considerations
您必须拥有
M10+集群才能导出日志。免费或共享层级集群不支持日志导出。此要求不适用于操作日志事件导出,该功能支持所有层级的集群。您必须拥有
Project Owner或Organization Owner访问权限才能配置日志导出。每台Atlas托管每天通常会生成 1 GB的日志。导出日志会产生数据传输费用。确切的数据传输费用因目的地、地区和云提供商而异。
日志出站来自 Atlas 控制平面在 Amazon Web Services
us-east-1中,无论您集群的区域或云提供商。如果您的集群不在 AWSus-east-1,您将产生跨区域或跨云数据传输费用以及 Internet 出口费用。要了解有关数据传输费用的更多信息,请参阅 数据传输费用。网络问题或重试可能会导致外部服务出现重复的日志条目。
故障处理与自动恢复
Atlas 自动处理日志导出失败,并无需人工干预即可恢复:
重试和熔断器
当日志传送到外部汇集器失败时,Atlas 会默认自动使用指数退避最多重试 3 次。重试延迟从 1 秒开始,并在尝试之间倍增,最长不超过 10 秒。
在 5 次连续失败后,熔断器会打开,以防止重复请求对目标服务进行大量冲击。熔断器会保持打开状态 5 分钟,然后尝试进行一次测试写入。如果测试成功,则恢复正常操作。如果失败,熔断器会重新打开。
每个 sink 配置都有自己独立的电路断路器,因此,一个集成的问题不会影响其他集成。
死信队列(DLQ)
当重试次数用尽或错误不可重试时(例如无效凭证),Atlas 会将失败的日志事件放入死信队列(DLQ),并设置 7天的保留期。死信队列可防止在接收器不可用时数据丢失。
警告
超过 7 天的日志会从 DLQ 中永久删除。如果您的 sink 仍然无法访问超过 7 天,这些日志将无法恢复。
当连接恢复并且熔断器关闭时,Atlas 会自动重新处理从 DLQ 到您的目标的排队日志。无需人工干预。
警告
如果您在 DLQ 中有排队的日志时修改汇总配置,则排队的日志将在重播时使用新配置。示例,如果将目标从一个 S3 桶更改为另一个,队列的日志将发送到新桶,而不是原始目标。
监控和警报
Atlas 提供 默认警报,可在以下情况下自动向 Project Owner 用户发送电子邮件通知:
日志导出遇到不可重试错误(日志在 DLQ 中排队)。
多次重试后日志导出失败(日志已在 DLQ 中排队)。
日志导出重放未能交付记录。
这些警报是信息性的,这意味着它们只会出现在 项目操作日志 中,而不会出现在 Project Alerts 页面的 Open Alerts 或 Closed Alerts 标签页上。要详细了解信息警报生命周期,请参阅 警报工作流。
此外,项目操作日志 记录以下信息事件:
日志导出已恢复(排队的日志已准备好恢复)。
日志导出已恢复(正在发送排队的日志)。
所有排队的日志均已发送。
您可以在项目的警报设置中自定义警报接收者和通知方式。详情请参阅 配置警报。
支持的导出目标位置
下表总结了Atlas支持日志导出的外部服务:
目的地 | 说明 |
|---|---|
将 | |
将 | |
将 | |
将 | |
将 | |
将 |
所有支持的目标都可以导出项目级别的 操作日志事件。组织级别事件导出仅支持 OpenTelemetry。