Atlas Stream Processing はモニタリングとアラートを提供し、ユーザーはパフォーマンスとステータスのインサイトを活用してワークフローを改善できます。
Atlas UIでストリーム プロセッサ ワークスペースを監視する
Atlas UIでストリーム処理プロセッサを監視できます。
Atlas Atlasで、プロジェクトの {0 ページにGoします。GoStream Processing
まだ表示されていない場合は、プロジェクトを含む組織をナビゲーション バーの Organizations メニューで選択します。
まだ表示されていない場合は、ナビゲーション バーの Projects メニューからプロジェクトを選択します。
サイドバーで、 Streaming Data見出しの下のStream Processingをクリックします。
Stream Processing ページが表示されます。
[Monitoring] タブをクリックします。
[Monitoring] タブには、選択したストリーム プロセッサに関するさまざまな実行時統計情報が表示されます（以下に限定されません）。
取り込まれたメッセージの数
正常に処理されたメッセージの数
デッド 文字キューに送信されたメッセージの数
ソース接続がApache Kafka の場合は、トピックのパーティションの現在のオフセットと最新のオフセットとの間のラグと、すべてのパーティション ラグの合計を監視できます。
ストリーム プロセッサの監視メソッド
Atlas Stream Processing は、ストリーム プロセッサに関するオンデマンド レポート作成用に次のメソッドを提供します。
sp.processor.sample()メソッドを使用すると、現在実行中のストリーム プロセッサによって出力されるドキュメントの小さなサンプルを確認できます。 ユーザーは、サンプリングされた結果と期待される結果を比較して、集計パイプライン設計におけるエラーを診断できます。
sp.processor.stats()メソッドは、選択したストリーム プロセッサに関するさまざまな実行時間統計を返します。これには次のものが含まれますが、これらに限定されません。
取り込まれたメッセージの数
正常に処理されたメッセージの数
デッド文字キューに送信されたメッセージの数
パイプライン状態のメモリ内サイズ
パイプラインの定義
ソース接続がApache Kafkaの場合は、次の任意のメトリクスを監視できます。
partitionOffsetLagは、トピックのパーティションの現在のオフセットと最新のオフセットとの間の遅延を示します。kafkaTotalOffsetLagは、すべてのパーティション ラグの合計を示します。
Atlas Stream Processing ログ
Atlas Stream Processing では、次の 2 種類のストリーム処理ワークスペースのアクティビティ ログが提供されます。
- 操作ログ（主に以下の動作を追跡するログ）
- 個々のストリーム プロセッサ。
- 監査ログ（主に認証とセキュリティを追跡）
- ストリーム処理ワークスペース レベルでのアクティビティ。
Atlas Stream Processing の運用ログまたは監査するログをダウンロードするには:
AtlasGoStream ProcessingAtlas で、プロジェクトの ページにGoします。
まだ表示されていない場合は、プロジェクトを含む組織をナビゲーション バーの Organizations メニューで選択します。
まだ表示されていない場合は、ナビゲーション バーの Projects メニューからプロジェクトを選択します。
サイドバーで、 Streaming Data見出しの下のStream Processingをクリックします。
Atlas Stream Processingページが表示されます。
ログをダウンロードするストリーム処理ワークスペースの ペインに移動し、省略記号をクリックします。
モーダルウィンドウで、ダウンロードするログのタイプを選択します。
Stream processorフィールドに、ログをダウンロードするストリーム プロセッサの名前を指定します。すべてのストリーム プロセッサのログをダウンロードするには、このフィールドを空白のままにします。
[Time Period ドロップダウンから、ログをダウンロードする間隔を選択します。
DataDog におけるストリーム プロセッサのメトリクス
DataDog にメトリクスを送信して、ストリームプロセッサを監視できます。統合の構成方法と利用可能なメトリクスについては、｢DataDog との統合｣を参照してください。
ストリーム プロセッサ アラート
Atlas Stream Processing は、プロセッサの状態が変化したとき、またはプロセッサがさまざまな取り込みや出力のしきい値に達したときにアラートをトリガーします。使用可能な Atlas Stream Processing アラートのリストについては、「 Atlas Stream Processing アラート 」を参照してください。アラート構成の詳細については、「 アラート設定の構成 」を参照してください。
次の方法で、Atlas Stream Processing アラートを対象にすることができます。
プロジェクト内のすべてのストリーム プロセッサ
構成された述語に一致するストリーム処理ワークスペース内のすべてのストリーム プロセッサ
設定された述語に一致する名前を持つすべてのストリーム プロセッサ
すべてのストリーム プロセッサ以外のターゲットに対して、同じアラートに複数のターゲットを設定できます。
Atlas Stream Processing は、デフォルトで アラートを構成します。これは プロジェクト レベルのアラートであるため、構成されているプロジェクト内の任意のストリーム処理ワークスペースで実行中ストリームStrean Processor State is failed プロセッサに適用されます。