Configure um catálogo Unity do Databhards ou um catálogo do horizonte da bandeira do Norte para o estágio de Atlas Stream Processing $icebergue. O estágio pode então atualizar as tabelas do Apache icebergue nesse catálogo. Conclua primeiro esta configuração no provedor de catálogo. Em seguida, crie uma conexão do catálogo de dados.
Sobre esta tarefa
O estágio $iceberg suporta os seguintes tipos de catálogo:
Catalog Type | Armazenamento suportado | Conexão do Data Catalog | Configurar |
|---|---|---|---|
| AWS S3 e Azure blob storage | Não usado | Nenhuma configuração de catálogo. Você precisa apenas da conexão de armazenamento. |
| AWSS3 | Não usado | Conceda ao seu role de IAM acesso ao AWS Glue. Para saber mais,consulte Adicionar uma conexão de Atlas Stream Processing . |
| AWS S3 e Azure blob storage | Obrigatório | Siga as etapas do Databricks Unity nesta página. |
| AWS S3 e Azure blob storage | Obrigatório | Siga as etapas do horizonte de flutuação nesta página. |
Uma conexão de catálogo de dados armazena a URL e as credenciais que o Atlas Stream Processing usa para autenticar no seu catálogo. O Databricks Unity usa a autenticação OAuth M2M com uma entidade de serviço. O Snowfloke horizonte usa autenticação de par de chaves.
Antes de começar
Certifique-se de que tem o seguinte:
Um espaço de trabalho de processamento de fluxo com uma conexão ao bucket S3 ou ao contêiner do Azure Blob Storage onde você deseja escrever suas tabelas do Apache icebergue.
Para saber mais, consulte Adicionar uma conexão de Atlas Stream Processing .
Uma conta Databricks ou Snowfloke com permissão para criar os recursos que esta página descreve.
Passos
Selecione seu tipo de catálogo e provedor de nuvem.
Próximos passos
Para criar a conexão do catálogo de dados com as credenciais que você coletou, consulte Adicionar uma Conexão de Atlas Stream Processing. Em seguida, para fazer referência à conexão em seu processador de fluxo, consulte o campo de catálogo do estágio $iceberg.