Atlas Stream Processing 更改日志

添加新的 $sessionWindow Atlas Stream Processing管道聚合阶段，用于指定数据聚合的会话窗口。这允许您在输入流中的每个活动“会话”上运行管道。要学习；了解更多信息，请参阅 $sessionWindow。

支持通过 Private Link 连接Azure 托管的 Confluence Kafka集群。

添加新的 $externalFunction Atlas Stream Processing管道阶段，用于触发特定Amazon Web Services Lambda资源中的进程。要学习；了解更多信息，请参阅 $externalFunction.

支持使用 Amazon Web Services Transit Gateway 连接到Amazon Web Services Confluent Cloud 集群。要学习；了解更多信息，请参阅添加Kafka Transit Gateway 连接。

支持在Atlas用户界面中创建 $https 连接。

将 parallelism字段添加到 $merge 。该字段指定要向其分发写入操作的线程数，从而提高性能。

允许您创建其他警报：输出消息计数、DLQ 消息计数、 Kafka延迟和变更流延迟。要学习；了解更多信息，请参阅Atlas Stream Processing警报。

支持不带参数并在流处理器中返回 UUID BSON 类型值的 createUUID 表达式。

为窗口操作符添加新配置，以支持除 eventTime 之外的 processingTime。要学习；了解详情，请参阅处理时间。

添加$meta表达式，该表达式返回一个包含文档的所有流媒体元数据的对象。

将 parseJsonStrings字段添加到 $https操作符，使其能够解析从API调用返回的JSON字符串。要学习；了解更多信息，请参阅 $https.

允许您为Amazon Web Services MSK 集群添加Kafka专用链接连接。

允许您在Amazon Web Services us-east-2 上部署流处理实例。 要学习；了解更多信息，请参阅Atlas Stream Processing区域。

支持$currentDate表达式，该表达式在每次Atlas Stream Processing评估流处理实例时返回流处理实例的系统时间。

支持读取包含嵌入文件签名（magic bytes）的 JSON 文档。

修复了阻止配置 hopSize 大于 interval 的跳转Windows的问题。

将 executionTimeSecs 统计数据更改为 executionTimeMillis。要查看此统计信息，请调用 sp.processor.stats() 命令。

将 $emit 到 Apache Kafka 的缓冲持续时间从 1000 毫秒更改为 5 毫秒。

支持在 Amazon Web Services 上使用 Confluent 进行 VPC 对等互连。

支持使用 Atlas Administration API 来编辑流处理器。

支持 AWS PrivateLink 与 Confluent 的集成。

支持附带 EventHub 的 Azure Private Link。

将“Apache Kafka 超时时间”从 10 秒增加到 30 秒。

当目标集群处于 REPAIRING 状态时，始终重试处理器。

修复了恢复检查点后的 partitionIdleTimeout 问题。

在详细统计信息中添加更多水印和窗口信息。

确保发送到Apache Kafka的生产消息调用不会无限期挂起，即使生产者队列已满。

支持摄取多主题Apache Kafka源。

将消费者群组的Apache Kafkaoffsets 更新为近乎实时。

支持Apache Kafka $emit 配置中的 和 设置。compression.typeacks

支持无集合 $lookup 语法。

标准化AtlasAtlas Stream Processing Stream Processing将ApacheApacheKafka stringKafka错误序列化为字符串的方式。

将 $emit 和 $merge 动态表达式限制增加到1000 。

使用窗口管道内唯一的 处理 $lookup。connectionName

改进了已暂停集群错误。

支持使用 $convert 从 Binary 数据转换为各种数据类型。这让您能够根据需要将 Kafka 标头转换为特定的数据类型。

使用 Apache Kafka 作为源的流处理器在 sp.processor.stats() 中公开每个分区的水印。

修复了用户无法通过 API 在某些区域创建Stream Processing 实例的错误。