Atlas Stream Processing $ice Services ステージの Databricks Unityカタログまたは Salted ホライゾン カタログを構成します。次に、 ステージはそのカタログ内のApache Ops Manager テーブルを更新できます。最初にカタログ プロバイダーでこの設定を完了します。次に、データカタログ接続を作成します。
このタスクについて
$iceberg ステージは次のカタログ タイプをサポートしています。
Catalog Type | サポートされているストレージ | データカタログ接続 | セットアップ |
|---|---|---|---|
| Amazon Web Services S3 とAzure Blog ストレージ | 不使用 | カタログの設定はありません。ストレージ接続のみが必要です。 |
| Amazon Web ServicesS3 | 不使用 | IAM ロールにAWS Glue へのアクセスを許可します。詳しくは、「 Atlas Stream Processing 接続の追加 」を参照してください。 |
| Amazon Web Services S3 とAzure Blog ストレージ | 必須 | このページの Databricks Unity手順に従います。 |
| Amazon Web Services S3 とAzure Blog ストレージ | 必須 | このページに記載されている "Snowlinks: ホライゾン" の手順に従います。 |
データカタログ接続には、Atlas Stream Processing がカタログを認証するために使用するURLと認証情報が保存されます。 Databricks Unity はサービス プリンシパルで OAuth M2M認証を使用します。では、 キーペア認証を使用しています。
始める前に
次のものがあることを確認してください。
Apache Opsage テーブルを書き込みたい S3 バケットまたはAzure Blob ストレージコンテナに接続するストリーム処理ワークスペース。
このページで説明されているリソースを作成する権限を持つ Databricks または String のアカウント。
手順
カタログの種類とクラウドプロバイダーを選択します。
次のステップ
収集した認証情報を使用してデータカタログ接続を作成するには、「 Atlas Stream Processing 接続の追加 」を参照してください。次に、ストリーム プロセッサで接続を参照には、$iceberg ステージのカタログフィールドを参照してください。