Atlas Stream Processing 更改日志

用Atlas Stream Processing Workspaces 替换以前的实例模型。要学习；了解详情，请参阅 流处理层。

新增对 AWS S3 私有链接连接类型的支持。

在“连接注册表”用户界面中添加 Test Connection 按钮，用于启动每个连接的连接测试。

将 tenant_name、project_name 和 org_name 字段添加到Atlas Stream Processing指标中，包括导出到 DataDog 的指标。

将lifetime cache hit/miss 统计信息添加到 atlas-sp-agg-cachedlookup 阶段的 stats.operatorStats。

在 Atlas DataDog 集成中添加对 Stream Processor State 指标的支持。

添加 $function操作符，允许在流处理管道中执行JavaScript 。 要学习；了解详情，请参阅 $function（流处理）。

添加 $cachedLookup 操作符，允许将 $lookup 结果缓存到特定的 TTL 中，以提高缓慢变化数据的性能。要了解更多信息，请参阅 $cachedLookup。

添加了 $emit 阶段将 null 值发送到 Kafka 主题的能力，以支持使用 $emit.config.tombstoneWhen = boolean 对 Kafka 主题进行压缩。要了解更多信息，请参阅$emit聚合阶段 (Stream Processing)。

添加了对 $source 和 $merge 的 Cross Atlas 项目的支持。要了解更多信息，请参阅 Atlas 连接。

添加对 $source 的支持，以在读取Atlas集合时支持初始同步。要学习；了解更多信息，请参阅MongoDB集合变更流。

新增对要在 Google Cloud 上部署的流处理工作区的支持。要学习；了解详情，请参阅 Google Cloud (GCP) 流处理区域。

添加对 $merge 的支持，以便能够删除集合中的文档。要学习；了解更多信息，请参阅 $merge（流处理）。

新增对 DataDog Metrics 的支持。 要学习；了解更多信息，请参阅 DataDog 指标。

新增对 AWS S3 连接的支持。

添加新的 $sessionWindow Atlas Stream Processing管道聚合阶段，用于指定用于聚合数据的会话窗口。这允许您在输入流中的每个活动“会话”上运行管道。要学习；了解更多信息，请参阅 $sessionWindow。

支持通过 Private Link 连接Azure 托管的 Confluence Kafka集群。

添加新的 $externalFunction Atlas Stream Processing管道阶段，用于触发特定Amazon Web Services Lambda资源中的进程。要学习；了解更多信息，请参阅 $externalFunction.

支持在Atlas用户界面中创建 $https 连接。

将 parallelism字段添加到 $merge 。该字段指定要向其分发写入操作的线程数，从而提高性能。

允许您创建其他警报：输出消息计数、DLQ 消息计数、 Kafka延迟和变更流延迟。要学习；了解更多信息，请参阅Atlas Stream Processing警报。

支持流处理器中不带参数并返回 UUID BSON 类型值的 createUUID 表达式。

为窗口操作符添加新配置，以支持除 eventTime 之外的 processingTime。要学习；了解详情，请参阅处理时间。

添加$meta表达式，该表达式返回一个包含文档的所有流媒体元数据的对象。

将 parseJsonStrings字段添加到 $https操作符，使其能够解析从API调用返回的JSON字符串。要学习；了解更多信息，请参阅 $https.

允许您为Amazon Web Services MSK 集群添加Kafka专用链接连接。

允许您在 AWSus-east-2 上部署流处理工作区。要学习；了解更多信息，请参阅Atlas Stream Processing区域。

支持 $currentDate表达式，该表达式在每次Atlas Stream Processing对其求值时返回流处理工作区的系统时间。

支持读取包含嵌入文件签名（magic bytes）的 JSON 文档。

修复了阻止配置 hopSize 大于 interval 的跳转Windows的问题。

将 executionTimeSecs 统计数据更改为 executionTimeMillis。要查看此统计信息，请调用 sp.processor.stats() 命令。

将 $emit 聚合阶段（流处理） 到Apache Kafka 接收器的缓冲持续时间从 1000 毫秒更改为 5 毫秒。

支持在 Amazon Web Services 上使用 Confluent 进行 VPC 对等互连。

支持使用 Atlas Administration API 来编辑流处理器。

支持 AWS PrivateLink 与 Confluent 的集成。

支持附带 EventHub 的 Azure Private Link。

将“Apache Kafka 超时时间”从 10 秒增加到 30 秒。

当目标集群处于 REPAIRING 状态时，始终重试处理器。

修复了恢复检查点后的 partitionIdleTimeout 问题。

在详细统计信息中添加更多水印和窗口信息。

确保发送到Apache Kafka的生产消息调用不会无限期挂起，即使生产者队列已满。

支持摄取多主题Apache Kafka源。

将消费者群组的Apache Kafka offsets 更新为近乎实时。

支持Apache Kafka $emit 配置中的 compression.type 和 acks 设置。

支持无集合 $lookup 语法。

标准化Atlas Stream Processing将Apache Kafka错误序列化为字符串的方式。

将 $emit 和 $merge 动态表达式限制增加到1000 。

使用窗口管道内唯一的 处理 $lookup。connectionName

改进了已暂停集群错误。

支持使用 $convert 从 Binary 数据转换为各种数据类型。这让您能够根据需要将 Kafka 标头转换为特定的数据类型。

使用Apache Kafka 作为源的流处理器会在sp.processor.stats().中公开每个分区的水印。

修复了用户无法通过API在某些地区创建流处理工作区的错误。