Atlas Stream Processing の変更ログ

Kafkaソースストリーム プロセッサが高負荷期間中にパーティション間で処理を分散する方法が改善され、より均等な処理が可能になります。

Atlas UIの タブにストリーム プロセッサの CPU とメモリ使用量を追加します。詳しくは、「Monitoring Atlas UIでストリーム プロセッサのワークスペースを監視する 」を参照してください。

$iceberg 集計ステージを使用して、Apache Iceberg テーブルへの書き込みの一般提供サポートを追加します。詳しくは、$iceberg. を参照してください。

リージョンフェイルオーバーのサポートを追加しました。詳細については、フェイルオーバー プロセッサーを参照してください。

ストリーム プロセッサーの作成および編集のための UI エクスペリエンスを大幅に改良します。詳細については、「 ストリーム プロセッサーの作成」を参照してください。

接続レジストリエントリから使用中の接続に対する Edit Connection ページへの読み取り専用アクセスを追加します。バナーは、変更を行う前に接続を使用しているプロセッサーを停止する必要があることを示します。以前は、接続を使用しているプロセッサーを停止していないと、詳細を表示できませんでした。詳細については、「 接続レジストリでの接続の表示」を参照してください。

Atlas UI でパイプラインを作成する際のエラー メッセージを改善します。

複数のコレクション initialSync のサポートを追加します。詳しくは、MongoDB コレクション Change Streamを参照してください。

ストリーム プロセッサーが構成した追加の平行処理を報告する addedParallelism フィールドを sp.processor.stats() に追加します。これは、ストリーム プロセッサーの階層で定義された Max Parallelism と同じです。

mongoshでストリーム プロセッサーの階層を変更する機能を追加します。詳細については、sp.processor.modify()を参照してください。

Atlas UI で Stream Processing ワークスペースの階層を変更する機能を追加します。

空の Stream Processing ワークスペース カードに、Visual Builder と JSON editor への直接リンクを追加します。

接続名に .、-、*、_ 以外の特殊文字を含めることができるバグを修正します。

ストリーム プロセッサーが存在しない場合に、Get One Stream Processor エンドポイントが 404 ではなく HTTP 400 を返すバグを修正します。

initialSync メモリ処理の改善が統合されます。

Azure でのbrazilsouthとaustraliaeast、AWS でのeu-west-3、および Google Cloud リージョンでのus-east4のサポートを追加します。

Azure Blob ストレージ接続のプライベート ネットワークのサポートを追加します。詳細については、「Azure Blob ストレージ プライベート リンク接続の追加」を参照してください。

ワークスペースが見つからない場合に返される HTTP ステータス コードが正しくない問題を修正します。

Atlas UI における AWS Kinesis および S3 接続の AWS PrivateLink コストの表示を追加します。

GCP Private Service Connect のコストが Google Cloud ワークスペースで正しく表示されない UI の問題を修正します。

ソースまたはシンクがターゲットごとの統計をサポートしない場合、ストリームプロセッサーメトリクス UI のソースメッセージ消費パネルとシンクメッセージ配達パネルを削除します。

パイプラインビジュアルビルダの Kinesis シンクテンプレートの無効なフィールドを修正します。

Atlas Administration APIの1 つのストリームプロセッサーを作成エンドポイントに tier オプションを追加します。

並列処理を使用しない場合における$lookupのレイテンシ統計修正を統合します。

metricThresholdオブジェクトを追加し、従来のthresholdオブジェクトを非推奨にすることで、後方互換性を維持しながらTerraformリソース作成の問題を修正します。

Google Cloud Pub/Sub を Sink としてサポートするようになりました。詳しくは、Google Cloud パブリック/サブスクライブ接続 を参照してください。

JSONエディターUIページの新しい Upload file ボタンを使用して、ローカル .json ファイルからプロセッサ定義を直接アップロードするためのサポートを追加します。

シンクとしてのAzure Blog ストレージのサポートを追加します。詳しくは、Azure Blob Storage（$emit ステージ）およびAzure Blob Storage Connectionsを参照してください。

サンプル、Apache Kafka、Atlas 接続のテスト アイコンをラベルの付いた TEST ボタンに置き換えます。

ストリーム プロセッサが参照クラスターの削除をブロックします。

Apache Kafka 接続レジストリで PLAIN と OIDC の間でApache Kafka接続認証を変更できるようにします。

Apache Kafkaブートストラップサーバーのホスト名に追加の検証を追加します。

プロジェクト レベルのストリーム監査をデフォルトで有効にし、Atlas UIの Database & Network Access > Security > Advanced ページから Streams Auditing トグルを削除します。監査ログが常に表示され、削除できなくなり、セキュリティとコンプライアンスの期待を満たすことができます。Atlas Stream Processing 監査の詳細については、Atlas Stream Processing のアクセスと監査 を参照してください。

接続レジストリで接続を表示すると、Atlas UI にリアルタイムステータス（Ready、Pending、Failed、Deleting）が Atlas UIに追加されます。

Atlas UIでStream プロセッサを作成する 際に、ソース オプションおよび Sink オプションとしてAWS Kinesis接続のサポートを追加します。

Atlas Stream Processing ワークスペースまたはストリーム プロセッサの操作ログをダウンロードするために、Atlas 管理APIの 1 つの Atlas Stream Processing ワークスペースの操作ログをダウンロードするためのサポートを追加します。

基礎の Atlas クラスターがまだプロビジョニングいる間に、ストリーム接続を早期に Ready としてマークする問題を修正します。

ロール割り当てで modifyStreamProcessorアクションが使用できない問題を修正しました。

ストリーム プロセッサを開始、停止、削除する操作のエラー処理を改善します。

Azure Event Hub 接続の検証を改善し、有効な名前空間 ARM URI のみが受け入れられるようにします。

Avro 直列化のサポートを追加しました。

Confluent Schema Registry との統合のサポートを追加しました。

パイプラインの最終ステージとして $https を使用し、HTTPS 接続経由で書き込みを許可します。

ソース（$source ステージ）およびシンク（ ステージ）としてAWS Kinesisのサポートを追加します。$emit

ストリーム プロセッサと宛先リージョンの両方のリージョン固有の料金を反映するようにデータ転送価格を更新します。さらに学ぶには、ストリーム プロセッサの価格を参照してください。

SP10 および SP30 階層ストリーム プロセッサの価格を、レガシーのワーカーベース モデルからプロセッサごとの価格モデルに更新します。詳細については、「ストリーム プロセッサの価格」を参照してください。

前のインスタンスモデルを Atlas Stream Processing ワークスペースに置き換えます。詳しくは、Stream Processing 階層を参照してください。

新しいストリーム プロセッサ階層を追加します。SP2、SP5、SP50

Apache Kafka 接続の JWT 認証を使用した OIDC のサポートを追加します。

Atlas UIでストリーム プロセッサパイプラインを作成するためのサポートを追加します。

AWS S3プライベートリンク接続タイプのサポートを追加します。

接続ごとに接続テストを開始するために、 接続レジストリUIに Test Connection ボタンを追加します。

DataDog にエクスポートされるものを含む、tenant_name、project_name、org_name フィールドを Atlas Stream Processing メトリクスに追加します。

lifetime cache hit/missステージの stats.operatorStats に $cachedLookup統計を追加します。

Atlas DataDog 統合で Stream Processor State メトリクスのサポートを追加しました。

$function 演算子を追加し、Stream Processing パイプラインでJavaScript の実行を可能にします。 詳しくは、$function（Stream Processing） を参照してください。

$cachedLookup 演算子を追加します。これにより、$lookup の結果を特定の TTL でキャッシュし、更新頻度の低いデータのパフォーマンスを向上させることができます。詳細については、$cachedLookup をご覧ください。

$emit ステージを追加し、null 値を Kafka トピックに送信できるようにし、Kafka トピックのコンパクションをサポートします（$emit.config.tombstoneWhen = boolean を使用）。詳細については、「$emit集計ステージ（Stream Processing）」を参照してください。

$source と $merge のクロス Atlas プロジェクトのサポートを追加します。詳しくは、 $merge（Stream Processing）参照の「Atlas クラスター間での変更ストリーム イベントの複製」セクションを参照してください。

Atlas コレクションからの読み取り時に最初の同期をサポートするための $source のサポートを追加します。詳しくは、 MongoDBコレクションの変更ストリーム を参照してください。

Google Cloud に配置する Stream Processing ワークスペースのサポートを追加します。詳しくは、Google Cloud (GCP) Stream Processing リージョンを参照してください。

コレクション内のドキュメントを削除できるようにする $merge のサポートを追加します。詳しくは、$merge（Stream Processing） を参照してください。

DataDog メトリクスのサポートを追加しました。 詳細については、DataDog メトリクス を参照してください。

Amazon Web Services S3 接続のサポートを追加します。

データを集計ためのセッションウィンドウを指定する新しい$sessionWindow Atlas Stream Processingパイプライン集計ステージを追加します。これにより、入力ストリーム内のアクティビティの各「セッション」でパイプラインを実行できるようになります。詳しくは、$sessionWindow を参照してください。

Private Link 接続経由で Azure がホストする Confluent Kafkaクラスターをサポートします。

$externalFunction特定のAmazon Web Services Lambdaリソースでプロセスをトリガーする新しい Atlas Stream Processingパイプラインステージを追加します。詳細については、$externalFunction を参照してください。

Atlas UIでの $ https 接続の作成をサポートします。

parallelismフィールドを$mergeに追加します。フィールドは、書込み (write) 操作を分散するスレッド数を指定することで、パフォーマンスを向上させます。

出力メッセージ数、DLQ メッセージ数、 Kafkaラグ、変更ストリーム遅延 などの追加のアラートを作成できます。詳しくは、Atlas Stream Processing アラート を参照してください。

ストリーム プロセッサで、引数なしで UUID BSON 型の値を返す createUUID 式をサポートします。

eventTime に加えて processingTime をサポートするウィンドウ演算子の新しい構成を追加します。詳細については、プロセシング時間を参照してください。

ドキュメントのすべてのストリーミングメタデータを含むオブジェクトを返す $meta式を追加します。

演算子にparseJsonStringsフィールドを追加し、$https API呼び出しから返されたJSON String を解析できるようにします。詳細については、$https を参照してください。

Amazon Web Services MSK クラスター用のKafka Private Link 接続を追加できます。

AWS us-east-2 上で Stream Processing ワークスペースを配置できます。詳細については、Atlas Stream Processing リージョンをご覧ください。

Atlas Stream Processing が評価するたびに、Stream Processing ワークスペースのシステム時間を返す $currentDate 式をサポートします。

埋め込みファイル署名（マジックバイト）を含むJSONドキュメントの読み取りをサポートします。

interval より大きい hopSize でWindowsのホスティングを構成できない問題を修正します。

executionTimeSecs の統計情報を executionTimeMillis に変更します。この統計を表示するには、sp.processor.stats() コマンドを呼び出します。

$emitApacheステージ（ストリーム プロセシング）のバッファリング期間を Kafkaから 1000 ミリ秒に変更します。

Amazon Web Servicesで Confluent とのVPCピアリングをサポートします。

Atlas Administration API を使用して、ストリーム プロセッサの編集をサポート。

Confluent で AWS PrivateLink をサポート。

EventHubs で Azure Private Link をサポート。

Apache Kafkaタイムアウトを 10 秒から 30 秒に増加させます。

ターゲット クラスターが REPAIRING 状態にある場合は、常にプロセッサを再試行します。

チェックポイント復元後に partitionIdleTimeout を修正します。

冗長な統計にウォーターマークとウィンドウ情報を追加します。

Apache Kafkaへのメッセージを生成するための呼び出しは、プロデューサー キューがいっぱいになった場合でも、無期限にハングしないようにします。

マルチトピックApache Kafkaソースの取り込みをサポートします。

コンシューマー グループのApache Kafkaoffsets をほぼリアルタイムで更新します。

Apache Kafka $t 構成で と 設定をサポートします。compression.typeacks

コレクションレス $lookup構文をサポートします。

Atlas Stream Processing がApache Kafkaエラーを string に直列化する方法を標準化します。

$merge と $merge の動的式の制限を1000 に増やします。

ウィンドウパイプライン内で一意の を使用して $lookupconnectionName を処理します。

一時停止されたクラスター エラーを改善します。

$convertBinary を使用して、 データからさまざまなデータ型への変換をサポートします。これにより、必要に応じて Kafka ヘッダーを特定のデータ型に変換できます。

Apache Kafka をソースとして使用するストリーム プロセッサは、sp.processor.stats(). でパーティションごとのウォータマークを公開します。

ユーザーが API を使用して特定のリージョンで Stream Processing ワークスペースを作成できなかったバグを修正しました。