Atlas Stream Processing 빙산 단계에 대한 Databricks Unity 카탈로그 또는 Snowflake Horizon 카탈로그를 구성합니다. 그런 다음 이 단계는 해당 카탈로그의 Apache iceberg 테이블을 업데이트 할 수 있습니다. 먼저 카탈로그 제공자 에서 이 설정 완료합니다. 그런 다음 데이터 카탈로그 연결을 만듭니다.
이 작업에 관한 정보
$iceberg 단계는 다음 카탈로그 유형을 지원합니다:
Catalog Type | 지원되는 스토리지 | 데이터 카탈로그 연결 | 설정 |
|---|---|---|---|
| AWS S3 및 Azure Blob Storage | 사용되지 않음 | 카탈로그 설정 없습니다. 저장 연결만 필요합니다. |
| AWSS3 | 사용되지 않음 | IAM 역할 에 AWS Glue에 대한 액세스 부여합니다. 자세히 학습 Atlas Stream Processing 연결 추가를 참조하세요. |
| AWS S3 및 Azure Blob Storage | 필수 사항 | 이 페이지의 Databricks Unity 단계를 따르세요. |
| AWS S3 및 Azure Blob Storage | 필수 사항 | 이 페이지의 Snowflake Horizon 단계를 따르세요. |
데이터 카탈로그 연결은 Atlas Stream Processing 카탈로그를 인증하는 데 사용하는 URL 과 자격 증명 저장합니다. Databricks Unity 서비스 주체와 함께 OAuth M2M 인증 사용합니다. Snowflake Horizon은 키 쌍 인증 사용합니다.
시작하기 전에
다음 사항이 있는지 확인합니다.
Apache 아이스버그 테이블을 쓰기 (write) 하려는 S3 버킷 또는 Azure Blob Storage 컨테이너 에 연결된 스트림 처리 작업 공간입니다.
이 페이지에서 설명하는 리소스를 생성할 수 있는 권한이 있는 Databricks 또는 Snowflake 계정입니다.
단계
카탈로그 유형과 cloud 제공자 선택합니다.
다음 단계
수집한 자격 증명 사용하여 데이터 카탈로그 연결을 만들려면 Atlas Stream Processing 연결 추가를 참조하세요. 그런 다음 스트림 프로세서에서 연결을 참조하려면 $iceberg 단계의 카탈로그 필드 참조하세요.