Atlas UI 、 Data Lake パイプラインAPI 、Atlas CLI を使用して、すべての Data Lake パイプラインを表示し、プロジェクト内の指定された Data Lake パイプラインの詳細を表示できます。 また、完了した Data Lake パイプラインのデータ取り込みジョブを、 APIと Atlas CLI から検索することもできます。
手順
Atlas CLI を使用してプロジェクト内のすべての Data Lake パイプラインを返すには、次のコマンドを実行します。
atlas dataLakePipelines list [options]
コマンド構文とパラメータの詳細については、 Atlas CLIドキュメントの Atlas dataLake Pipelines リスト を参照してください。
Atlas Data Lake パイプラインの詳細を表示
Atlas CLI を使用してプロジェクトの指定された Data Lake パイプラインの詳細を返すには、次のコマンドを実行します。
atlas dataLakePipelines describe <pipelineName> [options]
コマンドの構文やパラメーターについて詳しくは、 Atlas CLIドキュメントのAtlas dataLakepipelines describe を参照してください。
Atlas Data Lake パイプラインで利用可能なすべてのスケジュールの表示
Atlas CLI を使用して、指定した Data Lake パイプラインで利用可能なすべてのスケジュールを返すには、次のコマンドを実行します。
atlas dataLakePipelines availableSchedules list [options]
コマンドの構文とパラメータの詳細については、 Atlas CLIドキュメントのAtlas dataLakepipelines availableSchedules list を参照してください。
Atlas Data Lake パイプラインの利用可能なすべてのバックアップ スナップショットの表示
Atlas CLI を使用して、指定した Data Lake パイプラインの利用可能なすべてのバックアップ スナップショットを返すには、次のコマンドを実行します。
atlas dataLakePipelines availableSnapshots list [options]
コマンドの構文とパラメータの詳細については、 Atlas CLIドキュメントのAtlas dataLake Pipelines availableSnapshots list を参照してください。
Atlas Data Lake パイプラインの実行の表示
Atlas CLI を使用してプロジェクトのすべての Data Lake パイプラインの実行を返すには、次のコマンドを実行します。
atlas dataLakePipelines runs list [options]
コマンド構文とパラメーターの詳細については、 Atlas CLIドキュメントの「 Atlas dataLakeパイプライン実行リスト 」を参照してください。
Atlas Data Lake パイプラインの実行の詳細を表示
Atlas CLI を使用してプロジェクトで実行された指定されたデータレイク パイプラインの詳細を返すには、次のコマンドを実行します。
atlas dataLakePipelines runs describe <pipelineRunId> [options]
コマンドの構文とパラメータの詳細については、 Atlas CLIドキュメントのAtlas dataLakepipelines run describe を参照してください。
APIを介してプロジェクトのすべての Data Lake パイプラインを取得するには、 Data Lake pipelinesエンドポイントに GETリクエストを送信します。 すべての Data Lake パイプラインを取得するためのpipelinesエンドポイントの構文とパラメータの詳細については、「 1 つのプロジェクトからすべての Data Lake パイプラインを返す 」を参照してください。
API経由で Data Lake パイプラインの 1 つを取得するには、取得対象の Data Lake パイプラインの名前を指定して、 Data Lake pipelinesエンドポイントにGETリクエストを送信します。 Data Lake パイプラインの 1 つを取得するためのpipelinesエンドポイントの構文とパラメータの詳細については、「 1 つの Data Lake パイプラインを返す 」を参照してください。
Atlas Data Lake パイプラインの実行の表示
APIを介してプロジェクトの完了した Data Lake パイプラインのデータ取り込みジョブをすべて取得するには、 Data Lake runsエンドポイントにGETリクエストを送信します。 runsエンドポイントのAPI構文とオプションの詳細については、「 1 つのプロジェクトからすべての Data Lake パイプラインの実行を返す 」を参照してください。
API経由で完了した Data Lake パイプラインのデータ取り込みジョブの詳細を取得するには、完了した Data Lake パイプラインのデータ取り込みジョブの一意の識別子を使用して、 Data Lake runsエンドポイントにGETリクエストを送信します。検索します。 runsエンドポイントのAPI構文とオプションの詳細については、「 Data Lake パイプラインの実行を返す 」を参照してください。
Data Lake パイプラインの表示
ページには、プロジェクト内のすべての Data Lake パイプラインが表示されます。 各 Data Lake パイプラインについて、次の情報も表示されます。
列名 | 説明 |
|---|---|
pipelineName | Data Lake パイプラインの名前。 各パイプラインは複数のデータセットを生成できます。 名前を展開すると、パイプライン内のデータセットが表示されます。 |
データソース | パイプライン データセット内のデータのソース。 Atlas クラスター上のコレクションのデータの場合、この列にはクラスター名、データベース名、コレクション名が |
dataSize | 各データセットのデータのサイズ。 |
Last Run Time | パイプラインが各データセットのデータを取り込むために実行された日時。 |
Status | パイプラインのステータス。 パイプラインの場合、値は次のいずれかになります。
|
Frequency | クエリのためにクラスター データが取り込まれ、保存される頻度。 |
Actions | 各パイプラインに対して実行できるアクション。 次のいずれかをクリックできます。
|