Atlas Stream Processing 更改日志

新增在Atlas用户界面中更改流处理工作区层级的能力。

在空的流处理工作区卡上添加指向 Visual Builder 和 JSON editor 的直接链接。

修复了连接名称可能包含 .、-、* 和 _ 以外的特殊字符的错误。

修复了当流处理器不存在时“获取一个流处理器”端点返回HTTP400 而不是404 的错误。

集成了对 initialSync 内存处理的改进。

添加了对Azure中的 brazilsouth和australiaeasteu-west-3 、AWS us-east4中的 以及 Google Cloud 区域中的 的支持。

新增对Azure Blob 存储连接专用网络的支持。要学习；了解详情，请参阅添加Azure Blob 存储专用链接连接。

修复了未找到流租户时返回不正确HTTP状态代码的问题。

当您为 S3 或 AWS Kinesis连接启用AWS PrivateLink时，在Atlas用户界面中显示费用警告。

当源或接收器不支持每个目标的统计信息时，隐藏流处理器指标用户用户界面中的源消息消费和接收器消息传递面板。

修复了管道可视化生成器中Kinesis接收器模板中的无效字段。

tier向Atlas Administration API中的创建一个流处理器端点添加 选项。

修复了未使用并行性时 $lookup的延迟统计信息问题。

添加 metricThreshold 对象，并弃用旧版 threshold 对象，以在不破坏向后兼容性的情况下修复 Terraform 资源创建问题。

新增对 Google Cloud Pub/Sub 作为接收器的支持。要学习；了解详情，请参阅 Google Cloud Pub/Sub 连接。

添加了对使用JSON编辑器用户界面页面上的新 Upload file 按钮直接从本地 .json 文件上传处理器定义的支持。

新增对Azure Blob 存储作为接收器的支持。要学习；了解详情，请参阅Azure Blob 存储（$emit 阶段）和Azure Blob 存储连接。

将测试图标替换为带标签的TEST 示例按钮，用于Apache Kafka和Atlas连接。

阻止删除流处理器仍然引用的集群。

允许在连接注册表中在 PLAIN 和 OIDC 之间更改Apache Kafka连接身份身份验证。

为Apache Kafka引导服务器主机名添加额外验证。

默认启用项目级数据流Atlas 审核，并从Atlas 用户界面 的Database & Network Access > Security > Advanced 页面中删除 Streams Auditing 开关。Atlas 审核日志现在始终在线且不可删除，以满足安全性和合规预期。要学习有关Atlas Stream Processing Atlas 审核的更多信息，请参阅Atlas Stream Processing访问和Atlas 审核。

在连接注册表中查看连接时，向Atlas用户界面添加实时状态（Ready、Pending、Failed、Deleting）。

当您在Atlas用户界面中创建流处理器时，添加对 AWS Kinesis连接作为源和接收器选项的支持。

在Atlas Administration API中添加对下载单个Atlas Stream Processing工作区的操作日志终结点的支持，以下载Atlas Stream Processing工作区或流处理器的操作日志。

修复了当根本的Atlas 集群仍在预配过早地将流连接标记为 Ready 的问题。

修复了无法对角色分配执行 modifyStreamProcessor操作的问题。

改进了启动、停止和删除流处理器操作的错误处理。

改进了对Azure事件中心连接的验证，以确保仅接受有效的命名空间 ARM URI。

添加对 Avro 序列化的支持。

新增对与Confluent 模式 Registry集成的支持。

允许使用$https作为管道的最后阶段，通过 HTTPS 连接进行写入。

添加对 AWS Kinesis 作为 源（$source 阶段）和作为 接收器（$emit 阶段）的支持。

更新 数据传输定价，以反映流处理器和目标区域的特定区域费率。要学习；了解更多信息，请参阅流处理器定价。

将SP10 层和SP30 层级流处理器的定价从基于工作线程的传统模式更新为按处理器定价模式。要学习；了解更多信息，请参阅流处理器定价。

用Atlas Stream Processing Workspaces替换上一个实例模型。要学习；了解更多信息，请参阅流处理层。

添加新的流处理器层级：SP2、SP5 和 SP50。

添加对具有适用于Apache Kafka连接的 JWT 身份验证的 OIDC 的支持。

新增对在Atlas用户界面中创建流处理器管道的支持。

添加对 AWS S3 私有链接连接类型的支持。

在连接注册表用户用户界面中添加 Test Connection 按钮，为每个连接启动连接测试。

将 tenant_name、project_name 和 org_name 字段添加到Atlas Stream Processing指标中，包括导出到 DataDog 的指标。

将 lifetime cache hit/miss 统计信息添加到 stats.operatorStats 的 $cachedLookup 阶段。

在 Atlas DataDog 集成中添加对 Stream Processor State 指标的支持。

添加 $function操作符，允许在流处理管道中执行JavaScript 。 要学习；了解详情，请参阅 $function（流处理）。

添加 $cachedLookup 操作符，允许将 $lookup 结果缓存到特定的 TTL 中，以提高缓慢变化数据的性能。要了解更多信息，请参阅 $cachedLookup。

添加了 $emit 阶段将 null 值发送到 Kafka 主题的能力，以支持使用 $emit.config.tombstoneWhen = boolean 对 Kafka 主题进行压缩。要了解更多信息，请参阅$emit聚合阶段 (Stream Processing)。

添加了对 $source 和 $merge 的跨Atlas项目的支持。要了解更多信息，请参阅 $merge (Stream Processing) 参考中的跨 Atlas 集群复制变更流事件部分。

添加对 $source 的支持，以在读取Atlas集合时支持初始同步。要学习；了解更多信息，请参阅MongoDB集合变更流。

新增对 Stream Processing 工作区的支持，以便在 Google Cloud 上部署。要了解更多信息，请参阅 Google Cloud (GCP) Stream Processing 区域。

添加对 $merge 的支持，以便能够删除集合中的文档。要学习；了解更多信息，请参阅 $merge（流处理）。

新增对 DataDog Metrics 的支持。 要学习；了解更多信息，请参阅 DataDog 指标。

新增对Amazon Web Services S3 连接的支持。

添加新的 $sessionWindow Atlas Stream Processing管道聚合阶段，用于指定用于聚合数据的会话窗口。这允许您在输入流中的每个活动“会话”上运行管道。要学习；了解更多信息，请参阅 $sessionWindow。

支持通过 Private Link 连接Azure 托管的 Confluence Kafka集群。

添加新的 $externalFunction Atlas Stream Processing管道阶段，用于触发特定Amazon Web Services Lambda资源中的进程。要学习；了解更多信息，请参阅 $externalFunction.

支持在Atlas用户界面中创建 $https 连接。

将 parallelism字段添加到 $merge 。该字段指定要向其分发写入操作的线程数，从而提高性能。

允许您创建其他警报：输出消息计数、DLQ 消息计数、 Kafka延迟和变更流延迟。要学习；了解更多信息，请参阅Atlas Stream Processing警报。

支持流处理器中不带参数并返回 UUID BSON 类型值的 createUUID 表达式。

为窗口操作符添加新配置，以支持除 eventTime 之外的 processingTime。要学习；了解详情，请参阅处理时间。

添加$meta表达式，该表达式返回一个包含文档的所有流媒体元数据的对象。

将 parseJsonStrings字段添加到 $https操作符，使其能够解析从API调用返回的JSON字符串。要学习；了解更多信息，请参阅 $https.

允许您为Amazon Web Services MSK 集群添加Kafka专用链接连接。

允许您在 AWS us-east-2上部署 Stream Processing 工作区。要了解更多信息，请参阅 Atlas Stream Processing 区域。

支持 $currentDate 表达式，每次 Atlas Stream Processing 评估时返回您的 Stream Processing 工作区的系统时间。

支持读取包含嵌入文件签名（magic bytes）的 JSON 文档。

修复了阻止配置 hopSize 大于 interval 的跳转Windows的问题。

将 executionTimeSecs 统计数据更改为 executionTimeMillis。要查看此统计信息，请调用 sp.processor.stats() 命令。

将 $emit 聚合阶段（流处理） 到 Apache Kafka 的缓冲持续时间从 1000 毫秒更改为 5 毫秒。

支持在 Amazon Web Services 上使用 Confluent 进行 VPC 对等互连。

支持使用 Atlas Administration API 来编辑流处理器。

支持 AWS PrivateLink 与 Confluent 的集成。

支持附带 EventHub 的 Azure Private Link。

将“Apache Kafka 超时时间”从 10 秒增加到 30 秒。

当目标集群处于 REPAIRING 状态时，始终重试处理器。

修复了恢复检查点后的 partitionIdleTimeout 问题。

在详细统计信息中添加更多水印和窗口信息。

确保发送到Apache Kafka的生产消息调用不会无限期挂起，即使生产者队列已满。

支持摄取多主题Apache Kafka源。

将消费者群组的Apache Kafka offsets 更新为近乎实时。

支持Apache Kafka $emit 配置中的 compression.type 和 acks 设置。

支持无集合 $lookup 语法。

标准化Atlas Stream Processing将Apache Kafka错误序列化为字符串的方式。

将 $emit 和 $merge 动态表达式限制增加到1000 。

使用窗口管道内唯一的 处理 $lookup。connectionName

改进了已暂停集群错误。

支持使用 $convert 从 Binary 数据转换为各种数据类型。这让您能够根据需要将 Kafka 标头转换为特定的数据类型。

使用Apache Kafka 作为源的流处理器会在sp.processor.stats().中公开每个分区的水印。

修复了用户无法通过 API 在某些区域创建 Stream Processing 实例的错误。