Atlas Stream Processing Tier 选择指南

初始化激增

流处理器在初始运行期间可能比常规操作期间需要更多的资源。示例，如果处理器对大型Atlas集合执行 $initialSync，则该处理器需要在同步期间支持大量 I/O 和计算。

为了吸收如此高的需求，请暂时选择更高的层级，并在同步完成并且处理器转换为仅使用新的变更流事件时扩展处理器。

管道逻辑

聚合管道逻辑是 CPU 和RAM消耗的主节点 (primary node in the replica set)驾驶员。

• Windows：持久的 Windows 会消耗更多RAM来保存动态

  文档。

• 自定义逻辑：Javascript$function 阶段或复杂分组

  逻辑会增加每条消息的计算要求。

• 复合复杂性：额外的状态或计算复杂性阶段

  引入更多潜在的资源需求变化。即使在消费高峰期间，保持剩余容量也能确保一致的吞吐量。

基础设施

每个网络或存储联系点都会增加流处理器的开销。

• 源或接收器密度：读取或写入并行化

  源或接收器（例如带有分区的Apache Kafka主题）会增加 I/O 要求。

• 数据扩充：$lookup 和$https 阶段；和操作

  要丰富针对Atlas集合的数据流，需要网络带宽和连接池化。

• 协调：在复杂的部署中协调多个源

  和接收器，流处理器可以提供服务集线器，在每个节点之间路由数据流。此类处理器受益于 SP30 和 SP50 层的更高吞吐量。

相反，高吞吐量流处理工作负载可能会增加对互联资源的需求。

• 对Atlas的影响：来自流的大容量并行 I/O

  处理器可能会超过Atlas源集群或接收器集群的读取或写入容量。这不仅会增加处理器的延迟，还会成为依赖这些集群的其他工作负载的瓶颈。

  为确保全系统性能，请根据与之交互的处理器按比例扩展Atlas集群。

性能和延迟

即使处理逻辑很简单，性能目标也可能需要更高层级的处理器。

• 高吞吐量：更高层级的处理器可以更好地支持流

  以高速率生成事件。

• 低延迟 SLA：较高层级处理器提供的高并行性有助于确保在速度至关重要时事件不会在队列中累积。特别是，SP50 处理器提供的线程是 SP30 处理器的四倍。

• 数据丰富和缓存：使用$cachedLookup 来丰富

  包含大量静态或缓慢变化的参考数据的流，有利于更高层的处理器提供缓存所需的RAM 。

• 复杂接收器：某些接收器涉及更昂贵的

  转换、事务和文件管理开销。对于与这些接收器交互的处理器，更高的层有助于确保一致的性能和延迟。