Atlas Stream Processing 更改日志

添加对垂直自动伸缩的支持。要学习；了解更多信息，请参阅Atlas Stream Processing垂直自动扩展。

添加了对 Google Cloud 中的 us-west1 以及Azure区域中的 northeurope、eastasia 和 southeastasia 的支持。

改进了变更流源初始同步，以便它可以复制 _id 值跨越多个BSON 类型的集合，例如 ObjectId、string、numeric、date 和 UUID。要学习；了解更多信息，请参阅配置多集合初始同步。

更新 $iceberg聚合阶段，使用 s3:// 方案而不是 s3a:// 方案将文件写入AWS S3，从而提高与外部查询引擎的兼容性。要学习；了解更多信息，请参阅 $iceberg。

修复了Atlas Stream Processing不支持us-east-2、eu-west-3 和 ap-northeast-2 中的Atlas 审核日志的错误。

为 聚合阶段添加 Private Link支持。要学习；了解更多信息，请参阅添加$externalFunction AWS Lambda专用链接连接。

在 $externalFunction 聚合阶段中添加对并行的支持。

添加 Project Stream Processing Manager 角色。要了解更多信息，请参阅 项目角色。

添加了对创建没有 dnsDomain 值的 AWS Confluent Enterprise集群专用链接连接的支持。要学习；了解更多信息，请参阅添加Kafka专用链路连接。

在 Atlas 用户界面中添加一个模态，用于在编辑流处理器时清除检查点。

为 Atlas Stream Processing 添加新的操作日志事件。

新增对$vectorSearch 管道阶段的支持。

改善 Kafka 源流处理器在负载较重期间在分区之间分发处理的方式，从而使处理更均匀。

将流处理器 CPU 和内存使用情况添加到 Atlas 用户界面的 Monitoring 标签页。要了解更多信息，请参阅 在 Atlas 用户界面中监控流处理器工作区。

添加了对使用 聚合阶段写入Apache Iceberg $iceberg表的一般可用性支持。要学习；了解更多信息，请参阅 $iceberg。

添加对区域性故障转移的支持。要了解更多信息，请参阅故障转移处理器。

对用于创建和编辑流处理器的用户界面体验进行大修。要了解更多信息，请参阅创建流处理器。

从连接注册表条目为使用中的连接添加对 Edit Connection 页面的只读访问。标语指示您必须在进行任何更改之前停止使用连接的处理器。以前，您必须停止使用连接的处理器才能查看其详细信息。要了解更多信息，请参阅 查看连接注册表中的连接。

改善在 Atlas 用户界面中创建管道时的错误消息。

添加对多集合 initialSync 的支持。要了解更多信息，请参阅 MongoDB 集合变更流。

向 sp.processor.stats()添加一个addedParallelism(parallelism - 1) parallelism1字段，用于报告流处理器已配置的额外并行度，并行度计算为将 值设置为大于 的每个阶段的 之和。要学习；了解更多信息，请参阅查看流处理器的统计信息。

添加了在mongosh 中更改流处理器层级的能力。要学习；了解详情，请参阅sp.processor.modify() 。

增加了在 Atlas 用户界面中更改 Stream Processing 工作区层级的功能。

在空的 Stream Processing 工作区卡上添加指向 Visual Builder 和 JSON editor 的直接链接。

修复了一个错误，该错误导致连接名称可以包含 .、-、* 和 _ 以外的特殊字符。

修复了当流处理器不存在时“获取一个流处理器”端点返回HTTP400 而不是404 的错误。

集成了对 initialSync 内存处理的改进。

新增对Azure中的 brazilsouth 和 australiaeast、AWS 中的 eu-west-3 以及 Google Cloud 区域中的 us-east4 的支持。

新增对Azure Blob 存储连接专用网络的支持。要学习；了解详情，请参阅添加Azure Blob 存储专用链接连接。

修复了在未找到工作区时返回不正确 HTTP 状态代码的问题。

在 Atlas 用户界面 中添加了 AWS Kinesis 和 S3 连接的 AWS PrivateLink 费用显示。

修复了用户界面问题，即 GCP Private Service Connect 费用未正确显示在 Google Cloud 工作区域中。

当源或汇总不支持每目标统计信息时，删除流处理器指标用户界面中的源消息消耗和汇总消息传送面板。

修复管道可视化构建器中 Kinesis 汇总模板中的无效字段。

tier向Atlas Administration API中的创建一个流处理器端点添加 选项。

修复了未使用并行性时 $lookup的延迟统计信息问题。

添加 metricThreshold对象并弃用旧版 对象，以在不破坏向后兼容性的情况下修复threshold Terraform资源创建问题。

新增对 Google Cloud Pub/Sub 作为接收器的支持。要学习；了解详情，请参阅 Google Cloud Pub/Sub 连接。

添加了对使用JSON编辑器用户界面页面上的新 Upload file 按钮直接从本地 .json 文件上传处理器定义的支持。

新增对Azure Blob 存储作为接收器的支持。要学习；了解详情，请参阅Azure Blob 存储（$emit 阶段）和Azure Blob 存储连接。

将测试图标替换为带标签的TEST 示例按钮，用于Apache Kafka和Atlas连接。

阻止删除流处理器仍然引用的集群。

允许在连接注册表中在PLAIN 和 之间更改Apache Kafka连接身份身份验证。OIDC

为Apache Kafka引导服务器主机名添加额外验证。

默认启用项目级数据流Atlas 审核，并从Atlas 用户界面 的Database & Network Access > Security > Advanced 页面中删除 Streams Auditing 开关。Atlas 审核日志现在始终在线且不可删除，以满足安全性和合规预期。要学习有关Atlas Stream Processing Atlas 审核的更多信息，请参阅Atlas Stream Processing访问和Atlas 审核。

在连接注册表中查看连接时，向Atlas用户界面添加实时状态（Ready、Pending、Failed、Deleting）。

当您在Atlas用户界面中创建流处理器时，添加对 AWS Kinesis连接作为源和接收器选项的支持。

在Atlas Administration API中添加对下载单个Atlas Stream Processing工作区的操作日志终结点的支持，以下载Atlas Stream Processing工作区或流处理器的操作日志。

修复了当根本的Atlas 集群仍在预配过早地将流连接标记为 Ready 的问题。

修复了无法对角色分配执行 modifyStreamProcessor操作的问题。

改进了启动、停止和删除流处理器操作的错误处理。

改进了对Azure事件中心连接的验证，以确保仅接受有效的命名空间 ARM URI。

添加对 Avro 序列化的支持。

新增对与Confluent 模式 Registry集成的支持。

允许使用$https作为管道的最后阶段，通过 HTTPS 连接进行写入。

新增对 AWS Kinesis作为源（$source 阶段）和接收器（$emit 阶段）的支持。

更新 数据传输定价，以反映流处理器和目标区域的特定区域费率。要学习；了解更多信息，请参阅流处理器定价。

将 SP10 层和 SP30 层级流处理器的定价从旧版基于工作线程的模型更新为按处理器定价模型。要了解更多信息，请参阅流处理器定价。

用Atlas Stream Processing Workspaces替换上一个实例模型。要学习；了解更多信息，请参阅流处理层。

添加新的流处理器层级：SP2、SP5 和 SP50。

添加对具有适用于Apache Kafka连接的 JWT 身份验证的 OIDC 的支持。

新增对在Atlas用户界面中创建流处理器管道的支持。

添加对 AWS S3 私有链接连接类型的支持。

在连接注册表用户用户界面中添加 Test Connection 按钮，为每个连接启动连接测试。

将 tenant_name、project_name 和 org_name 字段添加到Atlas Stream Processing指标中，包括导出到 DataDog 的指标。

将 lifetime cache hit/miss 统计信息添加到 stats.operatorStats 的 $cachedLookup 阶段。

在 Atlas DataDog 集成中添加对 Stream Processor State 指标的支持。

添加 $function操作符，允许在流处理管道中执行JavaScript 。 要学习；了解详情，请参阅 $function（流处理）。

添加 $cachedLookup 操作符，允许将 $lookup 结果缓存到特定的 TTL 中，以提高缓慢变化数据的性能。要了解更多信息，请参阅 $cachedLookup。

添加了 $emit 阶段将 null 值发送到 Kafka 主题的能力，以支持使用 $emit.config.tombstoneWhen = boolean 对 Kafka 主题进行压缩。要了解更多信息，请参阅$emit聚合阶段 (Stream Processing)。

添加了对 $source 和 $merge 的跨Atlas项目的支持。要了解更多信息，请参阅 $merge (Stream Processing) 参考中的跨 Atlas 集群复制变更流事件部分。

添加对 $source 的支持，以在读取Atlas集合时支持初始同步。要学习；了解更多信息，请参阅MongoDB集合变更流。

新增对 Stream Processing 工作区的支持，以便在 Google Cloud 上部署。要了解更多信息，请参阅 Google Cloud (GCP) Stream Processing 区域。

添加对 $merge 的支持，以便能够删除集合中的文档。要学习；了解更多信息，请参阅 $merge（流处理）。

添加了对 Datadog Metrics 的支持。要了解更多信息，请参阅 Datadog 指标。

新增对 AWS S3 连接的支持。

添加新的 $sessionWindow Atlas Stream Processing管道聚合阶段，用于指定用于聚合数据的会话窗口。这允许您在输入流中的每个活动“会话”上运行管道。要学习；了解更多信息，请参阅 $sessionWindow。

支持通过 Private Link 连接Azure 托管的 Confluence Kafka集群。

添加新的 $externalFunction Atlas Stream Processing管道阶段，用于触发特定Amazon Web Services Lambda资源中的进程。要学习；了解更多信息，请参阅 $externalFunction.

支持在Atlas用户界面中创建 $https 连接。

将 parallelism字段添加到 $merge 。该字段指定要向其分发写入操作的线程数，从而提高性能。

允许您创建其他警报：输出消息计数、DLQ 消息计数、 Kafka延迟和变更流延迟。要学习；了解更多信息，请参阅Atlas Stream Processing警报。

支持流处理器中不带参数并返回 UUID BSON 类型值的 createUUID 表达式。

为窗口操作符添加新配置，以支持除 eventTime 之外的 processingTime。要学习；了解详情，请参阅处理时间。

添加$meta表达式，该表达式返回一个包含文档的所有流媒体元数据的对象。

将 parseJsonStrings字段添加到 $https操作符，使其能够解析从API调用返回的JSON字符串。要学习；了解更多信息，请参阅 $https.

允许您为Amazon Web Services MSK 集群添加Kafka专用链接连接。

允许您在 AWS us-east-2上部署 Stream Processing 工作区。要了解更多信息，请参阅 Atlas Stream Processing 区域。

支持 $currentDate 表达式，每次 Atlas Stream Processing 评估时返回您的 Stream Processing 工作区的系统时间。

支持读取包含嵌入文件签名（magic bytes）的 JSON 文档。

修复了阻止配置 hopSize 大于 interval 的跳转Windows的问题。

将executionTimeSecs 统计数据更改为executionTimeMillis 。要查看此统计信息，请调用sp.processor.stats() 命令。

将$emit 聚合阶段（流处理）到Apache Kafka接收器的缓冲持续时间从 1000毫秒更改为 5 毫秒。

支持在 Amazon Web Services 上使用 Confluent 进行 VPC 对等互连。

支持使用 Atlas Administration API 来编辑流处理器。

支持 AWS PrivateLink 与 Confluent 的集成。

支持附带 EventHub 的 Azure Private Link。

将Apache Kafka超时从 10秒增加到30 秒。

当目标集群处于 REPAIRING 状态时，始终重试处理器。

修复了恢复检查点后的 partitionIdleTimeout 问题。

在详细统计信息中添加更多水印和窗口信息。

确保发送到Apache Kafka的生产消息调用不会无限期挂起，即使生产者队列已满。

支持摄取多主题Apache Kafka源。

将消费者群组的Apache Kafkaoffsets 更新为近乎实时。

支持Apache Kafka $emit 配置中的 compression.type 和 acks 设置。

支持无集合 $lookup 语法。

标准化Atlas Stream Processing将Apache Kafka错误序列化为字符串的方式。

将 $emit 和 $merge 动态表达式限制增加到1000 。

使用窗口管道内唯一的 处理 $lookup。connectionName

改进了已暂停集群错误。

支持使用Binary $convert 将 数据转换为各种数据类型。这样，您就可以根据需要将Kafka标头转换为特定的数据类型。

使用Apache Kafka作为源的流处理器会在 sp.processor.stats()中公开每个分区的水印。

修复了用户无法通过 API 在某些区域创建 Stream Processing 实例的错误。