Configure un catálogo de Databricks Unity o de Snowflake Horizon para la etapa $iceberg de Atlas Stream Processing. De esta forma, la etapa podrá actualizar las tablas de Apache Iceberg en dicho catálogo. Complete primero esta configuración en su proveedor de catálogo. A continuación, cree una conexión de catálogo de datos.
Acerca de esta tarea
La etapa $iceberg admite los siguientes tipos de catálogo:
Catalog Type | Almacenamiento compatible | Conexión al catálogo de datos | Configuración |
|---|---|---|---|
| AWS S3 y Azure Blob Storage | No se utiliza | No se requiere configuración de catálogo. Solo necesita la conexión de almacenamiento. |
| AWSS3 | No se utiliza | Concede acceso a AWS Glue a tu rol de IAM. Para obtener más información, consulta Agregar una conexión de procesamiento de flujos de Atlas. |
| AWS S3 y Azure Blob Storage | Requerido | Sigue los pasos de Databricks Unity que se indican en esta página. |
| AWS S3 y Azure Blob Storage | Requerido | Sigue los pasos de Snowflake Horizon que se indican en esta página. |
Una conexión de catálogo de datos almacena la URL y las credenciales que Atlas Stream Processing utiliza para autenticarse en su catálogo. Databricks Unity utiliza la autenticación OAuth M2M con una entidad de servicio. Snowflake Horizon utiliza la autenticación mediante pares de claves.
Antes de comenzar
Asegúrese de tener lo siguiente:
Un espacio de trabajo de procesamiento de flujos con una conexión al bucket S3 o al contenedor de Azure Blob Storage donde desea escribir sus tablas de Apache Iceberg.
Para obtener más información, consulte Agregar una conexión de procesamiento de flujo de Atlas.
Una cuenta de Databricks o Snowflake con permiso para crear los recursos que se describen en esta página.
Pasos
Seleccione su tipo de catálogo y proveedor de nube.
Próximos pasos
Para crear la conexión del catálogo de datos con las credenciales que recopiló, consulte Agregar una conexión de procesamiento de flujo de Atlas. Luego, para hacer referencia a la conexión en su procesador de flujo, consulte el campo de catálogo de la etapa $iceberg.