Atlas Stream Processing の変更ログ

Google Cloud リージョンで asia-south1 のサポートを追加します。

ネストされたスキーマ推論を$iceberg ステージに追加します。詳細については、「 $service 」を参照してください。

Atlas UIでプライベート ネットワークを設定するために使用するアウトバウンドAWSアカウント ID を表示します。

メトリクス データが使用できない場合、ストリーム モニタリングでプロセッサ メッセージ メトリクスに 0 が表示されるバグを修正します。ストリーム モニタリングで、0 の代わりにデータが利用できないことが表示されるようになりました。

$source ステージで cron スケジュールのサポートを追加します。学ぶには、Cron 予定。を参照してください。

垂直オートスケーリングのサポートを追加しました。詳細については、「Atlas Stream Processing 垂直オートスケーリング」を参照してください。

us-west1Google Cloud Platform のnortheurope eastasiasoutheastasiaおよびAzureリージョンの 、 、 のサポートを追加します。

変更ストリームソースの最初の同期が改善され、_id の値が複数の BSON types (例えば ObjectId、string、numeric、date、UUID など) にまたがるコレクションをコピーできるようになりました。さらに学ぶには、「複数のコレクションの最初の同期を構成する」を参照してください。

AWS $icebergS にファイルを書き込むように スキームではなく3 s3://s3a://スキームを使用して、 集計ステージを更新し、外部クエリ エンジンとの互換性を向上させます。詳細については、「 $service 」を参照してください。

Atlas Stream Processing が us-east-2、eu-west-3、および ap-northeast-2 で監査ログをサポートしていなかったバグを修正しました。

$externalFunction集計ステージのプライベート リンクのサポートを追加します。詳細については、「 AWS Lambda Private Link 接続の追加 」を参照してください。

$externalFunction 集計ステージでの平行処理のサポートを追加します。

Project Stream Processing Manager ロールを追加します。詳細については、プロジェクト ロールを参照してください。

値なしでAWS Confluent Enterprise クラスター Private LinkdnsDomain 接続を作成するためのサポートを追加します。詳細については、「 Kafka Private Link 接続の追加 」を参照してください。

ストリーム プロセッサーの編集時に、チェックポイントのクリアのためのモーダルを Atlas UI に追加します。

Atlas Stream Processingの新しいアクティビティフィードイベントを追加します。

$vectorSearchパイプラインステージのサポートを追加します。

Kafka ソースストリームプロセッサーが重い負荷時にパーティション間でプロセシングを分配する方法を改善し、より均一なプロセシングを実現します。

Atlas UIの Monitoringタブにストリーム プロセッサの CPU とメモリ使用量を追加します。さらに学ぶには、「Atlas UIでストリーム プロセッサのワークスペースをモニターする」を参照してください。

集計ステージを使用してApache $icebergOps Manager テーブルへの書込み (write) のための一般提供サポートを追加します。詳細については、「 $service 」を参照してください。

リージョンフェイルオーバーのサポートを追加しました。詳細については、フェイルオーバー プロセッサーを参照してください。

ストリーム プロセッサーの作成および編集のための UI エクスペリエンスを大幅に改良します。詳細については、「 ストリーム プロセッサーの作成」を参照してください。

接続レジストリエントリから使用中の接続に対する Edit Connection ページへの読み取り専用アクセスを追加します。バナーは、変更を行う前に接続を使用しているプロセッサーを停止する必要があることを示します。以前は、接続を使用しているプロセッサーを停止していないと、詳細を表示できませんでした。詳細については、「 接続レジストリでの接続の表示」を参照してください。

Atlas UI でパイプラインを作成する際のエラー メッセージを改善します。

複数のコレクション initialSync のサポートを追加します。詳しくは、MongoDB コレクション Change Streamを参照してください。

addedParallelismsp.processor.stats()ストリーム プロセッサが構成した追加の並列処理を報告する に(parallelism - 1) parallelism1フィールドを追加します。このフィールドは、 値が より大きいすべてのステージにわたる の合計として計算されます。詳細については、「 ストリーム プロセッサの統計情報を表示する 」を参照してください。

のストリームmongosh プロセッサの階層を変更する能力を追加します。詳しくは、sp.processor.modify() を参照してください。

Atlas UI で Stream Processing ワークスペースの階層を変更する機能を追加します。

空の Stream Processing ワークスペース カードに、Visual Builder と JSON editor への直接リンクを追加します。

接続名に .、-、*、_ 以外の特殊文字を含めることができるバグを修正します。

ストリームプロセッサが存在しない場合に、1 つのストリームプロセッサを取得エンドポイントが 404 ではなく HTTP 400 を返すバグを修正します。

initialSync メモリ処理の改善が統合されます。

Azureの brazilsouthとaustraliaeast 、eu-west-3 AWSの us-east4、Google Cloud リージョンの のサポートを追加します。

Azure Blob Storage 接続のプライベート ネットワークのサポートを追加します。詳しくは、「 Azure Blog Storage Private Link 接続を追加する 」を参照してください。

ワークスペースが見つからない場合に返される HTTP ステータス コードが正しくない問題を修正します。

Atlas UI における AWS Kinesis および S3 接続の AWS PrivateLink コストの表示を追加します。

GCP Private Service Connect のコストが Google Cloud ワークスペースで正しく表示されない UI の問題を修正します。

ソースまたはシンクがターゲットごとの統計をサポートしない場合、ストリームプロセッサーメトリクス UI のソースメッセージ消費パネルとシンクメッセージ配達パネルを削除します。

パイプラインビジュアルビルダの Kinesis シンクテンプレートの無効なフィールドを修正します。

Atlas Administration APIの 1tier つのストリーム プロセッサの作成 エンドポイントに オプションを追加します。

並列処理を使用しない場合における$lookupのレイテンシ統計修正を統合します。

metricThresholdオブジェクトを追加し、レガシーの thresholdオブジェクトを非推奨にして、下位互換性を失うことなく Terraformリソースの作成の問題を修正します。

Google Cloud Pub/Sub を Sink としてサポートするようになりました。詳しくは、Google Cloud パブリック/サブスクライブ接続 を参照してください。

JSONエディターUIページの新しい Upload file ボタンを使用して、ローカル .json ファイルからプロセッサ定義を直接アップロードするためのサポートを追加します。

シンクとしてのAzure Blog ストレージのサポートを追加します。詳しくは、 「 Azure Blob Storage（$emit ステージ） 」および「 Azure Blob Storage Connections 」を参照してください。

サンプル、 Apache Kafka、Atlas 接続のテストTEST アイコンをラベルの付いた ボタンに置き換えます。

ストリーム プロセッサが参照クラスターの削除をブロックします。

接続レジストリで と の間でApache Kafka接続認証を変更できるようにします。PLAINOIDC

Apache Kafkaブートストラップサーバーのホスト名に追加の検証を追加します。

プロジェクト レベルのストリーム監査をデフォルトで有効にし、Atlas UIの Database & Network Access > Security > Advanced ページから Streams Auditing トグルを削除します。監査ログが常に表示され、削除できなくなり、セキュリティとコンプライアンスの期待を満たすことができます。Atlas Stream Processing 監査の詳細については、Atlas Stream Processing のアクセスと監査 を参照してください。

接続レジストリで接続を表示すると、Atlas UI にリアルタイムステータス（Ready、Pending、Failed、Deleting）が Atlas UIに追加されます。

Atlas UIでStream プロセッサを作成する 際に、ソース オプションおよび Sink オプションとしてAWS Kinesis接続のサポートを追加します。

Atlas Stream Processing ワークスペースまたはストリーム プロセッサの操作ログをダウンロードするために、Atlas Administration APIの 1 つの Atlas Stream Processing ワークスペースの操作ログをダウンロードするためのサポートを追加します。

基礎の Atlas クラスターがまだプロビジョニングいる間に、ストリーム接続を早期に Ready としてマークする問題を修正します。

ロール割り当てで modifyStreamProcessorアクションが使用できない問題を修正しました。

ストリーム プロセッサを開始、停止、削除する操作のエラー処理を改善します。

Azure Event Hub 接続の検証を改善し、有効な名前空間 ARM URI のみが受け入れられるようにします。

Avro 直列化のサポートを追加しました。

Confluent schema Registry との統合のサポートを追加しました。

パイプラインの最終ステージとして $https を使用し、HTTPS 接続経由で書き込みを許可します。

ソース（$source ステージ）およびシンク（ ステージ）としてAWS Kinesisのサポートを追加します。$emit

ストリーム プロセッサと宛先リージョンの両方のリージョン固有の料金を反映するようにデータ転送価格を更新します。さらに学ぶには、ストリーム プロセッサの価格を参照してください。

SP10 および SP30 階層ストリーム プロセッサの価格を、レガシーのワーカーベース モデルからプロセッサごとの価格モデルに更新します。詳細については、「ストリーム プロセッサの価格」を参照してください。

前のインスタンスモデルを Atlas Stream Processing ワークスペースに置き換えます。詳しくは、Stream Processing 階層を参照してください。

新しいストリーム プロセッサ階層を追加します。SP2、SP5、SP50

Apache Kafka接続の JWT 認証を使用した OIDC のサポートを追加します。

Atlas UIでストリーム プロセッサパイプラインを作成するためのサポートを追加します。

AWS S3 プライベートリンク接続タイプのサポートを追加します。

接続ごとに接続テストを開始するために、 接続レジストリUIに Test Connection ボタンを追加します。

DataDog にエクスポートされるものを含む、tenant_name、project_name、org_name フィールドを Atlas Stream Processing メトリクスに追加します。

lifetime cache hit/missステージの stats.operatorStats に $cachedLookup統計を追加します。

Atlas DataDog 統合で Stream Processor State メトリクスのサポートを追加しました。

$function 演算子を追加し、Stream Processing パイプラインでJavaScript の実行を可能にします。 詳しくは、$function（Stream Processing） を参照してください。

$cachedLookup 演算子を追加します。これにより、$lookup の結果を特定の TTL でキャッシュし、更新頻度の低いデータのパフォーマンスを向上させることができます。詳細については、$cachedLookup をご覧ください。

$emit ステージを追加し、null 値を Kafka トピックに送信できるようにし、Kafka トピックのコンパクションをサポートします（$emit.config.tombstoneWhen = boolean を使用）。詳細については、「$emit集計ステージ（Stream Processing）」を参照してください。

$source と $merge のクロス Atlas プロジェクトのサポートを追加します。詳しくは、 $merge（Stream Processing）参照の「Atlas クラスター間での変更ストリーム イベントの複製」セクションを参照してください。

Atlas コレクションからの読み取り時に最初の同期をサポートするための $source のサポートを追加します。詳しくは、 MongoDBコレクションの変更ストリーム を参照してください。

Google Cloud に配置するストリーム プロセシング ワークスペースのサポートを追加します。詳しくは、「 Google Cloud（GCP）Stream Processing リージョン 」を参照してください。

$mergeコレクション内のドキュメントを削除できるようにする のサポートを追加します。詳しくは、「 $merge（Stream Processing） 」を参照してください。

Datadog メトリクスのサポートを追加しました。詳細については、 Datadog メトリクス を参照してください。

AWS S3 接続のサポートを追加します。

データを集計ためのセッションウィンドウを指定する新しい$sessionWindow Atlas Stream Processingパイプライン集計ステージを追加します。これにより、入力ストリーム内のアクティビティの各「セッション」でパイプラインを実行できるようになります。詳しくは、$sessionWindow を参照してください。

Private Link 接続経由で Azure がホストする Confluent Kafkaクラスターをサポートします。

$externalFunction特定のAmazon Web Services Lambdaリソースでプロセスをトリガーする新しい Atlas Stream Processingパイプラインステージを追加します。詳細については、$externalFunction を参照してください。

Atlas UIでの $ https 接続の作成をサポートします。

parallelismフィールドを$mergeに追加します。フィールドは、書込み (write) 操作を分散するスレッド数を指定することで、パフォーマンスを向上させます。

出力メッセージ数、DLQ メッセージ数、 Kafkaラグ、変更ストリーム遅延 などの追加のアラートを作成できます。詳しくは、Atlas Stream Processing アラート を参照してください。

ストリーム プロセッサで、引数なしで UUID BSON型の値を返す createUUID式をサポートします。

eventTime に加えて processingTime をサポートするウィンドウ演算子の新しい構成を追加します。詳細については、プロセシング時間を参照してください。

ドキュメントのすべてのストリーミングメタデータを含むオブジェクトを返す $meta式を追加します。

演算子にparseJsonStringsフィールドを追加し、$https API呼び出しから返されたJSON String を解析できるようにします。詳細については、$https を参照してください。

Amazon Web Services MSK クラスター用のKafka Private Link 接続を追加できます。

AWS us-east-2 上で Stream Processing ワークスペースを配置できます。詳細については、Atlas Stream Processing リージョンをご覧ください。

Atlas Stream Processing が評価するたびに、Stream Processing ワークスペースのシステム時間を返す $currentDate 式をサポートします。

埋め込みファイル署名（マジックバイト）を含むJSONドキュメントの読み取りをサポートします。

interval より大きい hopSize でWindowsのホスティングを構成できない問題を修正します。

executionTimeSecsexecutionTimeMillisの統計情報を に変更します。この統計を表示するには、sp.processor.stats() コマンドを呼び出します。

Apacheステージ（ストリーム $emitプロセシング）のバッファリング期間を1000 ミリKafkaから 5 ミリ秒に変更します。

Amazon Web Servicesで Confluent とのVPCピアリングをサポートします。

Atlas Administration API を使用して、ストリーム プロセッサの編集をサポート。

Confluent で AWS PrivateLink をサポート。

EventHubs で Azure Private Link をサポート。

Apache Kafkaタイムアウトを 10秒から30 秒に増加させます。

ターゲット クラスターが REPAIRING 状態にある場合は、常にプロセッサを再試行します。

チェックポイント復元後に partitionIdleTimeout を修正します。

冗長な統計にウォーターマークとウィンドウ情報を追加します。

Apache Kafkaへのメッセージを生成するための呼び出しは、プロデューサー キューがいっぱいになった場合でも、無期限にハングしないようにします。

マルチトピックApache Kafkaソースの取り込みをサポートします。

コンシューマー グループのApache Kafkaoffsets をほぼリアルタイムで更新します。

Apache Kafka $t 構成で と 設定をサポートします。compression.typeacks

コレクションレス $lookup構文をサポートします。

Atlas Stream Processing がApache Kafkaエラーを string に直列化する方法を標準化します。

$merge と $merge の動的式の制限を1000 に増やします。

ウィンドウパイプライン内で一意の を使用して $lookupconnectionName を処理します。

一時停止されたクラスター エラーを改善します。

Binary$convert を使用した データからさまざまなデータ型への変換をサポートします。これにより、必要に応じてKafkaヘッダーを特定のデータ型に変換できます。

Apache Kafka をソースとして使用するストリーム プロセッサは、sp.processor.stats() でパーティションごとのウォータマークを公開します。

特定のリージョンでユーザーが API 経由で Stream Processing ワークスペースを作成できなかったバグを修正しました。