Atlas Stream Processing の変更ログ

AWS S3 プライベートリンク接続タイプのサポートを追加します。

接続ごとに接続テストを開始するために、 接続レジストリUIに Test Connection ボタンを追加します。

DataDog にエクスポートされるものを含む、tenant_name、project_name、org_name フィールドを Atlas Stream Processing メトリクスに追加します。

ref`atlas-sp-aggregatelookup` lifetime cache hit/missステージの stats.operatorStats に 統計情報を追加します。

Atlas DataDog 統合で Stream Processor State メトリクスのサポートを追加しました。

$function 演算子を追加し、Stream Processing パイプラインでJavaScript の実行を可能にします。 詳しくは、$function（Stream Processing） を参照してください。

$cachedLookup 演算子を追加します。これにより、$lookup の結果を特定の TTL でキャッシュし、更新頻度の低いデータのパフォーマンスを向上させることができます。詳細については、$cachedLookup をご覧ください。

$emit ステージを追加し、null 値を Kafka トピックに送信できるようにし、Kafka トピックのコンパクションをサポートします（$emit.config.tombstoneWhen = boolean を使用）。詳細については、「$emit集計ステージ（Stream Processing）」を参照してください。

$source と $merge のクロス Atlas プロジェクトのサポートを追加します。詳細については、「Atlas 接続」を参照してください。

Atlas コレクションからの読み取り時に最初の同期をサポートするための $source のサポートを追加します。詳しくは、 MongoDBコレクションの変更ストリーム を参照してください。

Google Cloud Platformに配置するストリーム プロセシング インスタンスのサポートを追加します。 詳しくは、 Google Cloud Platform （GCP）ストリーム プロセシング リージョン を参照してください。

コレクション内のドキュメントを削除できるようにする $merge のサポートを追加します。詳しくは、$merge（Stream Processing） を参照してください。

DataDog メトリクスのサポートを追加しました。 詳細については、DataDog メトリクス を参照してください。

AWS S3 接続のサポートを追加します。

データを集計ためのセッションウィンドウを指定する新しい$sessionWindow Atlas Stream Processingパイプライン集計ステージを追加します。これにより、入力ストリーム内のアクティビティの各「セッション」でパイプラインを実行できるようになります。詳しくは、$sessionWindow を参照してください。

Private Link 接続経由で Azure がホストする Confluent Kafkaクラスターをサポートします。

$externalFunction特定のAmazon Web Services Lambdaリソースでプロセスをトリガーする新しい Atlas Stream Processingパイプラインステージを追加します。詳細については、$externalFunction を参照してください。

Atlas UIでの $ https 接続の作成をサポートします。

parallelismフィールドを$mergeに追加します。フィールドは、書込み (write) 操作を分散するスレッド数を指定することで、パフォーマンスを向上させます。

出力メッセージ数、DLQ メッセージ数、 Kafkaラグ、変更ストリーム遅延 などの追加のアラートを作成できます。詳しくは、Atlas Stream Processing アラート を参照してください。

ストリーム プロセッサで、引数なしで UUID BSON型の値を返す createUUID式をサポートします。

eventTime に加えて processingTime をサポートするウィンドウ演算子の新しい構成を追加します。詳細については、プロセシング時間を参照してください。

ドキュメントのすべてのストリーミングメタデータを含むオブジェクトを返す $meta式を追加します。

演算子にparseJsonStringsフィールドを追加し、$https API呼び出しから返されたJSON String を解析できるようにします。詳細については、$https を参照してください。

Amazon Web Services MSK クラスター用のKafka Private Link 接続を追加できます。

Amazon Web Services us-east-2 に Atlas Stream Processing インスタンスを配置できます。 詳しくは、「Atlas Stream Processing リージョン」を参照してください。

Atlas Stream Processing が評価するたびにストリーム処理インスタンスのシステム時間を返す $currentDate式をサポートします。

埋め込みファイル署名（マジックバイト）を含むJSONドキュメントの読み取りをサポートします。

interval より大きい hopSize でWindowsのホスティングを構成できない問題を修正します。

executionTimeSecs の統計情報を executionTimeMillis に変更します。この統計を表示するには、sp.processor.stats() コマンドを呼び出します。

$emit集計ステージ（ストリーム プロセシング）をApache Kafka に設定し、バッファリング期間を 1000 ミリ秒から 5 ミリ秒に変更します。

Amazon Web Services で Confluent との VPC ピアリングをサポートします。

Atlas Administration API を使用して、ストリーム プロセッサの編集をサポート。

Confluent で AWS PrivateLink をサポート。

EventHubs で Azure Private Link をサポート。

Apache Kafkaタイムアウトを 10 秒から 30 秒に増加させます。

ターゲット クラスターが REPAIRING 状態にある場合は、常にプロセッサを再試行します。

チェックポイント復元後に partitionIdleTimeout を修正します。

冗長な統計にウォーターマークとウィンドウ情報を追加します。

Apache Kafkaへのメッセージを生成するための呼び出しは、プロデューサー キューがいっぱいになった場合でも、無期限にハングしないようにします。

マルチトピックApache Kafkaソースの取り込みをサポートします。

コンシューマー グループのApache Kafkaoffsets をほぼリアルタイムで更新します。

Apache Kafka $t 構成で と 設定をサポートします。compression.typeacks

コレクションレス $lookup構文をサポートします。

Atlas Stream Processing がApache Kafkaエラーを string に直列化する方法を標準化します。

$merge と $merge の動的式の制限を1000 に増やします。

ウィンドウパイプライン内で一意の を使用して $lookupconnectionName を処理します。

一時停止されたクラスター エラーを改善します。

$convertBinary を使用して、 データからさまざまなデータ型への変換をサポートします。これにより、必要に応じて Kafka ヘッダーを特定のデータ型に変換できます。

Apache Kafka をソースとして使用するストリーム プロセッサは、sp.processor.stats(). でパーティションごとのウォータマークを公開します。

ユーザーがAPI を使用して特定のリージョンでストリーム プロセシング インスタンスを作成できないバグを修正しました。