Cada espaço de trabalho de processamento de fluxo armazena cada conexão configurada com uma fonte de dados de streaming ou coletor em seu registro de conexão. Os procedimentos nesta página orientam você na criação e configuração de suas conexões de Atlas Stream Processing .
Pré-requisitos
Para criar e configurar conexões, você deve ter o seguinte:
UmprojetoAtlas
Um Atlas user com a função
Project OwnerouProject Stream Processing Ownerpara gerenciar um registro de conexãoObservação
Embora tanto as funções
Project OwnerquantoProject Stream Processing Ownerconcedam privilégios para criar, visualizar, editar e excluir conexões no registro de conexões, a funçãoProject Ownertambém permite que os usuários executem tarefas como criar implantações de banco de dados, gerenciar o acesso ao projeto entre outras funções.Consulte Funções do projeto para aprender mais sobre as diferenças entre essas funções.
Um cluster do Atlas
Considerações
Ao configurar conexões de Atlas Stream Processing , certifique-se de selecionar um tipo de conexão adequado para seu caso de uso. O Atlas Stream Processing é compatível com os seguintes provedores:
Fornecedor (vejaa nota) | Descrição | Tipos de conexão |
|---|---|---|
Corretor de Kafka | servidor configurável que recebe e armazena fluxos de evento , organizando-os em tópicos particionados. | Coletor e origem |
cluster do Atlas | servidor MongoDB hospedado na nuvem que oferece armazenamento permanente e Change Streamsorientados por eventos. | Coletor e origem |
AWS S3 | Contêiner de armazenamento de objetos hospedado no Amazon Web Services. | Somente coletor |
AWS Kinesis | Plataforma hospedada na nuvem que recebe e armazena fluxos de evento , fornecendo várias ferramentas integradas. | Somente coletor |
HTTPS | Solicitação HTTPS para recuperar dados por meio de um endpoint da API sempre que um documento passar. Em seguida, o Atlas Stream Processing usa esses dados para enriquecer o documento que acionou a solicitação. | Fonte complementar; deve seguir um estágio |
Conexões de Funções Externas | Atlas Stream Processing oferece suporte à incorporação de chamadas para recursos do Amazon Web Services Lambda dentro do seu pipeline do Atlas Stream Processing. Você pode executar essas chamadas de forma síncrona ou assíncrona e pode passar respostas de chamadas síncronas para estágios subsequentes em seu pipeline. Para saber mais, consulte a documentação das Funções Externas do Atlas Stream Processing. | Trigger |
Observação
Não é possível usar coleções de séries temporais como origem para o Atlas Stream Processing. As coleções de séries temporais não aceitam change streams.
Dica
Consulte Limitações das Coleções de Séries Temporais para obter mais informações.
Adicione uma conexão ao registro de conexão
Cada tipo de conexão do Atlas Stream Processing tem requisitos e procedimentos de configuração distintos. Para saber mais, consulte Adicionar uma conexão de Atlas Stream Processing.
Visualize conexões no registro de conexões
Para visualizar uma conexão com seu espaço de trabalho de processamento de fluxo:
Para listar todas as conexões de um espaço de trabalho de processamento de fluxo que você especificar utilizando o Atlas CLI, execute o seguinte comando:
atlas streams connections list [options]
Para retornar os detalhes de uma conexão de Atlas Stream Processing que você especifica utilizando o Atlas CLI, execute o seguinte comando:
atlas streams connections describe <streamConnectionName> [options]
Para saber mais sobre a sintaxe e os parâmetros dos comandos anteriores, consulte a documentação da Atlas CLI para lista de conexões de fluxo atlas e descrição de lista de conexões de fluxo atlas.
No Atlas, VáGo para a Stream Processing página do seu projeto.
Se ainda não tiver sido exibido, selecione a organização que contém seu projeto no menu Organizations na barra de navegação.
Se ainda não estiver exibido, selecione seu projeto no menu Projects na barra de navegação.
Na barra lateral, clique em Stream Processing sob o título Streaming Data.
A página Processamento de fluxo é exibida.
Acesse a página Connection Registry.
Localize o painel de visão geral do espaço de trabalho de processamento de fluxo que contém o registro de conexão que você deseja visualizar.
Clique em Configure.
Selecione a guia Connection Registry.
O Atlas Stream Processing exibe todas as conexões disponíveis no registro de conexões da sua instância.
A API de Administração do Atlas fornece diferentes endpoints para recuperar uma ou todas as conexões em um registro de conexão.
Para listar todas as conexões disponíveis utilizando mongosh, utilize o método sp.listConnections(). Ele retorna uma lista de documentos descrevendo cada conexão no registro de conexão do espaço de trabalho de fluxo de processamento. Tem a seguinte sintaxe:
sp.listConnections()
Modifique uma conexão a partir do registro de conexão
Para modificar uma conexão a partir de um registro de conexão:
Para modificar os detalhes de uma conexão na área de trabalho de processamento de fluxo que você especificar usando a Atlas CLI, execute o seguinte comando:
atlas streams connections update <connectionName> [options]
Para saber mais sobre a sintaxe e os parâmetros do comando, consulte a documentação da Atlas CLI para 32 / 5,000Atualização de conexões de fluxos do Atlas.
No Atlas, váGo para a Stream Processing página do seu projeto.
Se ainda não tiver sido exibido, selecione a organização que contém seu projeto no menu Organizations na barra de navegação.
Se ainda não estiver exibido, selecione seu projeto no menu Projects na barra de navegação.
Na barra lateral, clique em Stream Processing sob o título Streaming Data.
A página Processamento de fluxo é exibida.
Modificar a conexão.
Para a conexão que você deseja modificar na tabela, clique no ícone de lápis na coluna Actions .
Você pode editar uma conexão somente se ela não estiver sendo usada atualmente por um processador de fluxo. Se você quiser editar uma conexão em uso, interrompa primeiro todos os processadores de fluxo que usam a conexão.
Modifique os campos que você deseja modificar.
Clique em Save changes.
A API de administração do Atlas fornece um endpoint para editar um espaço de trabalho de processamento de fluxo.
Exclua uma conexão do registro de conexão
Para excluir uma conexão de um registro de conexão:
Para remover uma conexão da área de trabalho de processamento de fluxo que você especificar usando a Atlas CLI, execute o seguinte comando:
atlas streams connections delete <connectionName> [options]
Para saber mais sobre a sintaxe e os parâmetros do comando, consulte a documentação do Atlas CLI para excluir conexões de fluxos do Atlas.
No Atlas, váGo para a Stream Processing página do seu projeto.
Se ainda não tiver sido exibido, selecione a organização que contém seu projeto no menu Organizations na barra de navegação.
Se ainda não estiver exibido, selecione seu projeto no menu Projects na barra de navegação.
Na barra lateral, clique em Stream Processing sob o título Streaming Data.
A página Processamento de fluxo é exibida.
A API de administração do Atlas fornece um endpoint para editar um espaço de trabalho de processamento de fluxo.
Listar conexões de link privado
A API de administração do Atlas fornece um endpoint para visualizar todas as conexões de link privado configuradas para o Atlas Stream Processing em um projeto específico.
Ver uma conexão de link privado
A API de administração do Atlas fornece um endpoint para visualizar os detalhes de uma conexão de link privado configurada para o Atlas Stream Processing em um projeto específico.
Excluir uma conexão de link privado
A API de administração do Atlas fornece um endpoint para excluir uma conexão Private Link configurada para Atlas Stream Processing dentro de um projeto especificado.