Atlas Stream Processing 更改日志

添加了对 Google Cloud 区域中 asia-south1 的支持。

将嵌套模式推断添加到 $iceberg 阶段。要了解详情，请参阅 $iceberg.

显示您用于在 Atlas 用户界面中设置专用网络的外发 AWS 账户 ID。

修复了一个 bug，即当没有指标数据可用时，Streams 监控在处理器消息指标中显示 0。Streams 监控现在显示没有数据可用，而不是 0。

在 $source 阶段支持 cron 安排。要了解更多，请参阅 Cron 安排。

添加对垂直自动扩展的支持。要了解更多信息，请参阅 Atlas Stream Processing 垂直自动扩展。

在 Google Cloud Platform 中添加对 us-west1 的支持，以及在 Azure 区域中添加对 northeurope、eastasia 和 southeastasia 的支持。

改善变更流源初始同步，以便它可以复制其 _id 值跨越多个 BSON types 的集合，例如 ObjectId、string、numeric、date 和 UUID。要学习更多信息，请参阅 配置多集合初始同步。

更新 $iceberg 聚合阶段，使其使用 s3:// 方案而非 s3a:// 方案将文件写入 AWS S3，这增加了与外部查询引擎的兼容性。要了解详情，请参阅 $iceberg.

修复了 Atlas Stream Processing 在 us-east-2、eu-west-3 和 ap-northeast-2 中不支持 Atlas 审核日志的 bug。

为 $externalFunction 聚合阶段添加 Private Link 支持。要了解更多信息，请参阅 添加 Amazon Web Services Lambda 私有链接。

在 $externalFunction 聚合阶段中添加对并行的支持。

添加 Project Stream Processing Manager 角色。要了解更多信息，请参阅 项目角色。

添加对创建 Amazon Web Services Confluent 企业集群 Private Link 连接的支持，不带dnsDomain 值。要了解更多，请参阅 添加 Kafka 专用链接。

在 Atlas 用户界面中添加一个模态，用于在编辑流处理器时清除检查点。

为 Atlas Stream Processing 添加新的操作日志事件。

Adds support for the $vectorSearch pipeline stage.

改善 Kafka 源流处理器在负载较重期间在分区之间分发处理的方式，从而使处理更均匀。

将流处理器 CPU 和内存使用情况添加到 Atlas 用户界面的 Monitoring 标签页。要了解更多信息，请参阅 在 Atlas 用户界面中监控流处理器工作区。

使用 $iceberg 聚合阶段增加对写入 Apache Iceberg 表的全面可用性支持。要了解更多信息，请参阅 $iceberg。

添加对区域性故障转移的支持。要了解更多信息，请参阅故障转移处理器。

对用于创建和编辑流处理器的用户界面体验进行大修。要了解更多信息，请参阅创建流处理器。

从连接注册表条目为使用中的连接添加对 Edit Connection 页面的只读访问。标语指示您必须在进行任何更改之前停止使用连接的处理器。以前，您必须停止使用连接的处理器才能查看其详细信息。要了解更多信息，请参阅 查看连接注册表中的连接。

改善在 Atlas 用户界面中创建管道时的错误消息。

添加对多集合 initialSync 的支持。要了解更多信息，请参阅 MongoDB 集合变更流。

Adds an addedParallelism field to sp.processor.stats() that reports the additional parallelism the stream processor has configured, calculated as the sum of (parallelism - 1) across every stage that sets a parallelism value greater than 1. To learn more, see View Statistics of a Stream Processor.

Adds the ability to change the tier of a stream processor in mongosh. To learn more, see sp.processor.modify().

增加了在 Atlas 用户界面中更改 Stream Processing 工作区层级的功能。

在空的 Stream Processing 工作区卡上添加指向 Visual Builder 和 JSON editor 的直接链接。

修复了一个错误，该错误导致连接名称可以包含 .、-、* 和 _ 以外的特殊字符。

修复了当流处理器不存在时，获取一个流处理器 终结点返回 HTTP 400 而不是 404 的错误。

集成了对 initialSync 内存处理的改进。

添加对 brazilsouth 和 australiaeast 在 Azure 中的支持、eu-west-3 在 Amazon Web Services 中以及 us-east4 在 Google Cloud Platform 区域中的支持。

添加对 Azure Blob 存储连接的私有网络的支持。要了解更多，请参阅 添加 Azure Blob 存储专用链接。

修复了在未找到工作区时返回不正确 HTTP 状态代码的问题。

在 Atlas 用户界面 中添加了 AWS Kinesis 和 S3 连接的 AWS PrivateLink 费用显示。

修复了用户界面问题，即 GCP Private Service Connect 费用未正确显示在 Google Cloud 工作区域中。

当源或汇总不支持每目标统计信息时，删除流处理器指标用户界面中的源消息消耗和汇总消息传送面板。

修复管道可视化构建器中 Kinesis 汇总模板中的无效字段。

Adds a tier option to the Create One Stream Processor endpoint in the Atlas Administration API.

修复了未使用并行性时 $lookup的延迟统计信息问题。

Adds the metricThreshold object and deprecates the legacy threshold object to fix Terraform resource creation issues without breaking backward compatibility.

新增对 Google Cloud Pub/Sub 作为接收器的支持。要学习；了解详情，请参阅 Google Cloud Pub/Sub 连接。

添加了对使用JSON编辑器用户界面页面上的新 Upload file 按钮直接从本地 .json 文件上传处理器定义的支持。

增加对 Azure Blob 存储作为输出端的支持。要了解更多，请参阅 Azure Blob 存储 ($emit 阶段) 和 Azure Blob 存储连接。

将测试图标替换为带标签的TEST 示例按钮，用于Apache Kafka和Atlas连接。

阻止删除流处理器仍然引用的集群。

允许在连接注册表中在 PLAIN 和 OIDC 之间更改Apache Kafka连接身份身份验证。

为Apache Kafka引导服务器主机名添加额外验证。

默认启用项目级数据流Atlas 审核，并从Atlas 用户界面 的Database & Network Access > Security > Advanced 页面中删除 Streams Auditing 开关。Atlas 审核日志现在始终在线且不可删除，以满足安全性和合规预期。要学习有关Atlas Stream Processing Atlas 审核的更多信息，请参阅Atlas Stream Processing访问和Atlas 审核。

在连接注册表中查看连接时，向Atlas用户界面添加实时状态（Ready、Pending、Failed、Deleting）。

当您在Atlas用户界面中创建流处理器时，添加对 AWS Kinesis连接作为源和接收器选项的支持。

Adds support for the Download Operational Logs for One Atlas Stream Processing Workspace endpoint in the Atlas Administration API to download operational logs for Atlas Stream Processing workspaces or stream processors.

修复了当根本的Atlas 集群仍在预配过早地将流连接标记为 Ready 的问题。

修复了无法对角色分配执行 modifyStreamProcessor操作的问题。

改进了启动、停止和删除流处理器操作的错误处理。

改进了对Azure事件中心连接的验证，以确保仅接受有效的命名空间 ARM URI。

添加对 Avro 序列化的支持。

新增对与Confluent 模式 Registry集成的支持。

允许使用$https作为管道的最后阶段，通过 HTTPS 连接进行写入。

添加对 Amazon Web Services Kinesis 的支持，作为 源 ($source 阶段)，并作为 汇 ($emit 阶段)。

更新 数据传输定价，以反映流处理器和目标区域的特定区域费率。要学习；了解更多信息，请参阅流处理器定价。

将 SP10 层和 SP30 层级流处理器的定价从旧版基于工作线程的模型更新为按处理器定价模型。要了解更多信息，请参阅流处理器定价。

用Atlas Stream Processing Workspaces替换上一个实例模型。要学习；了解更多信息，请参阅流处理层。

添加新的流处理器层级：SP2、SP5 和 SP50。

添加对具有适用于Apache Kafka连接的 JWT 身份验证的 OIDC 的支持。

新增对在Atlas用户界面中创建流处理器管道的支持。

新增对 AWS S3 专用链接连接类型的支持。

在连接注册表用户用户界面中添加 Test Connection 按钮，为每个连接启动连接测试。

将 tenant_name、project_name 和 org_name 字段添加到Atlas Stream Processing指标中，包括导出到 DataDog 的指标。

将 lifetime cache hit/miss 统计信息添加到 stats.operatorStats 的 $cachedLookup 阶段。

在 Atlas DataDog 集成中添加对 Stream Processor State 指标的支持。

添加 $function操作符，允许在流处理管道中执行JavaScript 。 要学习；了解详情，请参阅 $function（流处理）。

添加 $cachedLookup 操作符，允许将 $lookup 结果缓存到特定的 TTL 中，以提高缓慢变化数据的性能。要了解更多信息，请参阅 $cachedLookup。

添加了 $emit 阶段将 null 值发送到 Kafka 主题的能力，以支持使用 $emit.config.tombstoneWhen = boolean 对 Kafka 主题进行压缩。要了解更多信息，请参阅$emit聚合阶段 (Stream Processing)。

添加了对 $source 和 $merge 的跨Atlas项目的支持。要了解更多信息，请参阅 $merge (Stream Processing) 参考中的跨 Atlas 集群复制变更流事件部分。

添加对 $source 的支持，以在读取Atlas集合时支持初始同步。要学习；了解更多信息，请参阅MongoDB集合变更流。

Adds support for Stream Processing Workspaces to deploy on Google Cloud. To learn more, see Google Cloud (GCP) Stream Processing Regions.

Adds support for $merge to be able to delete documents in collections. To learn more, see $merge (Stream Processing).

Adds support for Datadog Metrics. To learn more, see Datadog Metrics.

增加了对 AWS S3 连接的支持。

添加新的 $sessionWindow Atlas Stream Processing管道聚合阶段，用于指定用于聚合数据的会话窗口。这允许您在输入流中的每个活动“会话”上运行管道。要学习；了解更多信息，请参阅 $sessionWindow。

支持通过 Private Link 连接Azure 托管的 Confluence Kafka集群。

添加新的 $externalFunction Atlas Stream Processing管道阶段，用于触发特定Amazon Web Services Lambda资源中的进程。要学习；了解更多信息，请参阅 $externalFunction.

支持在Atlas用户界面中创建 $https 连接。

将 parallelism字段添加到 $merge 。该字段指定要向其分发写入操作的线程数，从而提高性能。

允许您创建其他警报：输出消息计数、DLQ 消息计数、 Kafka延迟和变更流延迟。要学习；了解更多信息，请参阅Atlas Stream Processing警报。

支持流处理器中不带参数并返回 UUID BSON 类型值的 createUUID 表达式。

为窗口操作符添加新配置，以支持除 eventTime 之外的 processingTime。要学习；了解详情，请参阅处理时间。

添加$meta表达式，该表达式返回一个包含文档的所有流媒体元数据的对象。

将 parseJsonStrings字段添加到 $https操作符，使其能够解析从API调用返回的JSON字符串。要学习；了解更多信息，请参阅 $https.

允许您为Amazon Web Services MSK 集群添加Kafka专用链接连接。

允许您在 AWS us-east-2上部署 Stream Processing 工作区。要了解更多信息，请参阅 Atlas Stream Processing 区域。

支持 $currentDate 表达式，每次 Atlas Stream Processing 评估时返回您的 Stream Processing 工作区的系统时间。

支持读取包含嵌入文件签名（magic bytes）的 JSON 文档。

修复了阻止配置 hopSize 大于 interval 的跳转Windows的问题。

Changes the executionTimeSecs stat to executionTimeMillis. To view this stat, invoke the sp.processor.stats() command.

将 $emit 聚合阶段（流处理） 到 Apache Kafka 的缓冲持续时间从 1000 毫秒更改为 5 毫秒。

支持在 Amazon Web Services 上使用 Confluent 进行 VPC 对等互连。

支持使用 Atlas Administration API 来编辑流处理器。

支持 AWS PrivateLink 与 Confluent 的集成。

支持附带 EventHub 的 Azure Private Link。

将“Apache Kafka 超时时间”从 10 秒增加到 30 秒。

当目标集群处于 REPAIRING 状态时，始终重试处理器。

修复了恢复检查点后的 partitionIdleTimeout 问题。

在详细统计信息中添加更多水印和窗口信息。

确保发送到Apache Kafka的生产消息调用不会无限期挂起，即使生产者队列已满。

支持摄取多主题Apache Kafka源。

将消费者群组的Apache Kafka offsets 更新为近乎实时。

支持Apache Kafka $emit 配置中的 compression.type 和 acks 设置。

支持无集合 $lookup 语法。

标准化Atlas Stream Processing将Apache Kafka错误序列化为字符串的方式。

将 $emit 和 $merge 动态表达式限制增加到1000 。

使用窗口管道内唯一的 处理 $lookup。connectionName

改进了已暂停集群错误。

Supports converting from Binary data to various data types using $convert. This allows you to transform Kafka headers into specific data types as needed.

使用Apache Kafka作为源的流处理器会在 sp.processor.stats() 中公开每个分区的水印。

修复了用户无法通过 API 在某些区域创建 Stream Processing 实例的错误。