MongoDB.local SF, Jan 15: See the speaker lineup & ship your AI vision faster. Use WEB50 to save 50%
Find out more >
Docs 菜单
Docs 主页
/ /

Atlas Stream Processing监控和警报

Atlas Stream Processing 提供监控和警报功能,以便用户可以利用性能和状态见解来优化其工作流程。

对于您的每个 Stream Processing 工作区,您可以在 Atlas 用户界面中监控您的流处理器:

1
  1. 如果尚未显示,请从导航栏上的 Organizations 菜单中选择包含项目的组织。

  2. 如果尚未显示,请从导航栏的 Projects 菜单中选择您的项目。

  3. 在侧边栏中,单击 Streaming Data 标题下的 Stream Processing

显示 Stream Processing 页面。

2

在要监控的 Stream Processing 工作区窗格中,点击 Configure

3

Monitoring 选项卡显示有关所选流处理器的各种运行时统计信息,包括但不限于:

  • 摄取的消息数量

  • 成功处理的消息数量

  • 发送到您的 死信队列的消息数量

如果源连接是Apache Kafka,则可以监控主题分区代理的当前偏移量和最新偏移量之间的延迟以及所有分区延迟的总和。

4

您可以通过流处理器名称、时间范围和粒度来过滤图表。

Atlas Stream Processing 提供以下方法来按需报告有关流处理器的信息:

sp.processor.sample() 方法允许您查看所选的当前正在运行的流处理器输出的一小部分文档示例。用户可以将示例结果与预期结果进行比较,以诊断聚合管道设计中的任何错误。

sp.processor.stats() 方法会返回有关所选流处理器的各种运行时统计信息,包括但不限于:

  • 摄取的消息数量

  • 成功处理的消息数量

  • 发送到您的死信队列的消息数量

  • 管道状态的内存大小

  • 管道定义

如果源连接是Apache Kafka,则可以监控以下可选指标:

  • partitionOffsetLag 表示主题分区的当前偏移量与代理上的最新偏移量之间的滞后。

  • kafkaTotalOffsetLag 表示所有分区滞后的总和。

Atlas Stream Processing提供两种类型的流处理工作区活动日志:

  • 操作日志,主要追踪
    单个流处理器。
  • Atlas 审核日志,主要追踪身份验证和安全
    stream processing 工作区级别的活动。

要下载Atlas Stream Processing操作或Atlas 审核日志,请执行以下操作:

1
  1. 如果尚未显示,请从导航栏上的 Organizations 菜单中选择包含项目的组织。

  2. 如果尚未显示,请从导航栏的 Projects 菜单中选择您的项目。

  3. 在侧边栏中,单击 Streaming Data 标题下的 Stream Processing

此时将显示 Stream Processing 页面。

2

导航到要下载日志的流处理工作区的窗格,然后单击省略号。

3
4

在模式窗口中,选择要下载的日志类型。

5

Stream processor字段中,提供要下载日志的流处理器的名称。将此字段留空可下载所有流处理器的日志。

6

Time Period 下拉列表中,选择要下载日志的时间间隔。

7

注意

日志在创建后最多需要五分钟才能查询。

您可以向 Datadog 发送指标来监控您的流处理器。要了解如何配置集成以及哪些指标可用,请参阅与 Datadog 集成

当处理器状态发生变化或满足各种输入或输出阈值时,Atlas Stream Processing 会触发警报。有关可用的 Atlas Stream Processing 警报列表,请参阅 Atlas Stream Processing 警报。要了解有关警报配置的更多信息,请参阅配置警报设置。

您可以通过以下方式处理 Atlas Stream Processing 警报:

  • 项目中的所有流处理器

  • 所有 Stream Processing 工作区中与配置的谓词匹配的流处理器

  • 所有名称符合配置谓词的流处理器

对于除所有流处理器之外的目标,您可以为同一警报配置多个目标。

Atlas Stream Processing默认配置Strean Processor State is failed 警报。由于这是项目级警报,因此它适用于在为其配置警报的项目内任何流处理工作区中运行的任何流处理器。

后退

安全性