Atlas Stream Processing 提供监控和警报功能,以便用户可以利用性能和状态见解来优化其工作流程。
在 Atlas 用户界面中监控流处理器工作区
对于您的每个 Stream Processing 工作区,您可以在 Atlas 用户界面中监控您的流处理器:
AtlasGoStream Processing在Atlas中,Go项目的 页面。
如果尚未显示,请从导航栏上的 Organizations 菜单中选择包含项目的组织。
如果尚未显示,请从导航栏的 Projects 菜单中选择您的项目。
在侧边栏中,单击 Streaming Data 标题下的 Stream Processing。
显示 Stream Processing 页面。
单击 Monitoring(私有端点)标签页。
Monitoring 选项卡显示有关所选流处理器的各种运行时统计信息,包括但不限于:
摄取的消息数量
成功处理的消息数量
发送到您的 死信队列的消息数量
如果源连接是Apache Kafka,则可以监控主题分区代理的当前偏移量和最新偏移量之间的延迟以及所有分区延迟的总和。
流处理器监控方法
Atlas Stream Processing 提供以下方法来按需报告有关流处理器的信息:
sp.processor.sample() 方法允许您查看所选的当前正在运行的流处理器输出的一小部分文档示例。用户可以将示例结果与预期结果进行比较,以诊断聚合管道设计中的任何错误。
sp.processor.stats() 方法会返回有关所选流处理器的各种运行时统计信息,包括但不限于:
摄取的消息数量
成功处理的消息数量
发送到您的死信队列的消息数量
管道状态的内存大小
管道定义
如果源连接是Apache Kafka,则可以监控以下可选指标:
partitionOffsetLag表示主题分区的当前偏移量与代理上的最新偏移量之间的滞后。kafkaTotalOffsetLag表示所有分区滞后的总和。
Stream Processing 日志
Atlas Stream Processing提供两种类型的流处理工作区活动日志:
- 操作日志,主要追踪
- 单个流处理器。
- Atlas 审核日志,主要追踪身份验证和安全
- stream processing 工作区级别的活动。
要下载Atlas Stream Processing操作或Atlas 审核日志,请执行以下操作:
AtlasGoStream Processing在Atlas中,Go项目的 页面。
如果尚未显示,请从导航栏上的 Organizations 菜单中选择包含项目的组织。
如果尚未显示,请从导航栏的 Projects 菜单中选择您的项目。
在侧边栏中,单击 Streaming Data 标题下的 Stream Processing。
此时将显示 Stream Processing 页面。
导航到要下载日志的流处理工作区的窗格,然后单击省略号。
在模式窗口中,选择要下载的日志类型。
在 Stream processor字段中,提供要下载日志的流处理器的名称。将此字段留空可下载所有流处理器的日志。
从 Time Period 下拉列表中,选择要下载日志的时间间隔。
注意
日志在创建后最多需要五分钟才能查询。
Datadog 中的流处理器指标
您可以向 Datadog 发送指标来监控您的流处理器。要了解如何配置集成以及哪些指标可用,请参阅与 Datadog 集成。
流处理器警报
当处理器状态发生变化或满足各种输入或输出阈值时,Atlas Stream Processing 会触发警报。有关可用的 Atlas Stream Processing 警报列表,请参阅 Atlas Stream Processing 警报。要了解有关警报配置的更多信息,请参阅配置警报设置。
您可以通过以下方式处理 Atlas Stream Processing 警报:
项目中的所有流处理器
所有 Stream Processing 工作区中与配置的谓词匹配的流处理器
所有名称符合配置谓词的流处理器
对于除所有流处理器之外的目标,您可以为同一警报配置多个目标。
Atlas Stream Processing默认配置Strean Processor State is failed 警报。由于这是项目级警报,因此它适用于在为其配置警报的项目内任何流处理工作区中运行的任何流处理器。