限制

以下限制适用于 Atlas Stream Processing：

流处理器的state.stateSize不能超过其 pod 可用 RAM 的80%。例如，SP30 层流处理器拥有 8 GB RAM，其最大容量为 6.4 GB。如果任何流处理器的 state.stateSize 接近其可用 RAM 的80%，请考虑停止该处理器，并在更高层级上重新启动。如果您的流处理器已在 Stream Processing 工作区启用的最大层级上运行，请考虑调整 Stream Processing 工作区配置以启用更高层级的流处理器。
当流处理器超过 80% RAM 阈值时，将失败并返回stream processing workspace out of memory错误。您可以使用 sp.processor.stats() 命令查看每个流处理器的 state.stateSize 值。请参阅查看流处理器的统计信息以了解更多信息。
Stream Processing 工作区只能使用同一项目中的集群作为源或接收器。
Atlas Stream Processing 管道定义不能超过16 MB。
Only users with the Project Owner or Atlas admin roles can use Atlas Stream Processing.

Atlas Stream Processing 目前仅支持以下连接类型：

连接类型	使用
Apache Kafka	Source 或 Sink
Atlas 数据库	Source 或 Sink
连接示例	仅源

对于使用Apache Kafka作为 $source 的Atlas Stream Processing ，如果作为运行的处理器的 $source 的Apache Kafka主题添加了分区，则Atlas Stream Processing会继续运行而不读取该分区。当您在故障后从检查点恢复处理器或在停止处理器后重新启动处理器后，如果处理器检测到新分区，则处理器会发生故障。您必须重新创建从具有新添加分区的主题中读取数据的处理器。
Atlas Stream Processing 目前仅支持 JSON 格式的数据。它目前不支持 Avro 或协议 Buffers 等替代序列化。
对于Apache Kafka连接， Atlas Stream Processing目前仅支持以下安全协议：
- SASL_PLAINTEXT
- SASL_SSL
- SSL
对于SASL ，Atlas Stream Processing 支持以下机制：
- PLAIN
- SCRAM-SHA-256
- SCRAM-SHA-512
- OAUTHBEARER
SSL对于，您必须提供以下资产，以便使用Atlas Stream Processing进行Apache Kafka系统双向 TLS身份验证：
- a 证书颁发机构（如果您使用的是默认 Apache Kafka CA 以外的 CA）
- 客户端TLS 证书
- TLS 密钥文件，用于签署 TLS 证书
Atlas Stream Processing 不支持 $function JavaScript UDF。
Atlas Stream Processing 支持 Atlas 中可用的聚合管道阶段的子集，允许您对流媒体数据执行许多与静态数据相同的操作。有关支持的聚合管道阶段的完整列表，请参阅 Stream Aggregation 文档。
Atlas Stream Processing 不支持聚合变量 $$NOW、$$CLUSTER_TIME、$$USER_ROLES和$SEARCH_META。

后退

监控

来年

变更日志