Cada espaço de trabalho do processamento de fluxos armazena todas as conexões configuradas com uma fonte ou coletor de dados de streaming em seu registro de conexões. Os procedimentos desta página orientam você na criação e na configuração das conexões do Atlas Stream Processing.
Integrações compatíveis
Ao configurar conexões de Atlas Stream Processing , certifique-se de selecionar um tipo de conexão adequado para seu caso de uso. O Atlas Stream Processing é compatível com os seguintes provedores:
Provider (See note) | Descrição | Tipos de conexão | Rede avançada |
|---|---|---|---|
Corretor de Kafka | servidor configurável que recebe e armazena fluxos de evento , organizando-os em tópicos particionados. | Private Link ou VPC emparelhamento. O suporte depende do seu fornecedor Kafka. | |
cluster do Atlas | servidor MongoDB hospedado na nuvem que oferece armazenamento permanente e Change Streamsorientados por eventos. | Atlas gerenciado | |
Cluster Atlas (coleção de séries temporais) | MongoDB time series collection used as a destination for processed data. | Atlas gerenciado | |
AWSS3 | Contêiner de armazenamento de objetos hospedado no Amazon Web Services. | ||
AWS Kinesis | Plataforma hospedada na nuvem que recebe e armazena fluxos de evento, fornecendo várias ferramentas integradas. | ||
Azure Blob Storage | Contêiner de armazenamento de objetos hospedado no Azure. | ||
Google Cloud Pub/Sub | Serviço hospedado na nuvem do Google compatível com streaming assíncrono. | ||
HTTPS | Solicitação HTTPS para recuperar dados por meio de um endpoint da API sempre que um documento passar. Em seguida, o Atlas Stream Processing usa esses dados para enriquecer o documento que acionou a solicitação. | Não suportado | |
AWS Lambda | Atlas Stream Processing oferece suporte à incorporação de chamadas para recursos do Amazon Web Services Lambda dentro do seu pipeline do Atlas Stream Processing. Você pode executar essas chamadas de forma síncrona ou assíncrona e pode passar respostas de chamadas síncronas para estágios subsequentes em seu pipeline. Para saber mais, consulte a documentação do Atlas Stream Processing $externalFunction. |
Observação
As conexões do AWS Kinesis e S3, Azure Blob armazenamento e Google Cloud Pub/Sub exigem a configuração de acesso do provedor de nuvem, independentemente do método de acesso à rede que você escolher:
Para configurar o Acesso unificado ao AWS para conexões Kinesis e S3, consulte Configurar o Acesso unificado ao AWS.
Para configurar o Azure Service Principal Access para conexões de armazenamento de blob, consulte Configurar e gerenciar o Azure Service Principal Access.
Para configurar o acesso à conta de serviço do GCP para conexões Pub/Sub, consulte Configurar e gerenciar o acesso à conta de serviço do Google Cloud.
Observação
Não é possível usar coleções de séries temporais como origem para o Atlas Stream Processing. As coleções de séries temporais não suportam change streams.
Dica
Consulte Limitações das Coleções de Séries Temporais para obter mais informações.
Pré-requisitos
Para criar e configurar conexões, você deve ter o seguinte:
Um projeto do Atlas
Um Atlas user com a função
Project OwnerouProject Stream Processing Ownerpara gerenciar um registro de conexãoObservação
Embora tanto as funções
Project OwnerquantoProject Stream Processing Ownerconcedam privilégios para criar, visualizar, editar e excluir conexões no registro de conexões, a funçãoProject Ownertambém permite que os usuários executem tarefas como criar implantações de banco de dados, gerenciar o acesso ao projeto entre outras funções.Consulte Funções do projeto para aprender mais sobre as diferenças entre essas funções.
Um cluster do Atlas
Conexões entre projetos
O Atlas Stream Processing oferece suporte à leitura e gravação em clusters do Atlas em outros projetos. Para habilitar essa funcionalidade, siga estas etapas:
No Atlas, acesse a página Organization Settings.
Se ainda não estiver exibido, selecione sua organização desejada no Menu Organizations na barra de navegação.
Na barra lateral, clique em Organization Settings.
A página Configurações da organização é exibida.
Ativar Enable Atlas Stream Processing Across Projects.
Para criar uma conexão entre projetos, você deve ter um dos seguintes:
Org Stream Processing Ownerprivilégio.Stream Processing Project Ownerprivilégios em ambos os projetos Atlas que participam da conexão.
Adicione uma conexão ao registro de conexão
Cada tipo de conexão do Atlas Stream Processing tem requisitos e procedimentos de configuração distintos. Para saber mais, consulte Adicionar uma conexão de Atlas Stream Processing.
Visualize conexões no registro de conexões
Para ver uma conexão com seu espaço de trabalho do processamento de fluxos:
Para listar todas as conexões de um espaço de trabalho de stream processing que você especificar utilizando o Atlas CLI, execute o seguinte comando:
atlas streams connections list [options]
Para retornar os detalhes de uma conexão de Atlas Stream Processing que você especifica utilizando o Atlas CLI, execute o seguinte comando:
atlas streams connections describe <streamConnectionName> [options]
Para saber mais sobre a sintaxe e os parâmetros dos comandos anteriores, consulte a documentação da Atlas CLI para lista de conexões de fluxo atlas e descrição de lista de conexões de fluxo atlas.
No Atlas, vá para a página Stream Processing do seu projeto.
Se ainda não tiver sido exibido, selecione a organização que contém seu projeto no menu Organizations na barra de navegação.
Se ainda não estiver exibido, selecione seu projeto no menu Projects na barra de navegação.
Na barra lateral, clique em Stream Processing sob o título Streaming Data.
A página Processamento de fluxo é exibida.
Acesse a página Connection Registry.
Localize o painel de visão geral do espaço de trabalho do processamento de fluxos que contém o registro de conexão que você quer ver.
Clique em Manage.
Selecione a guia Connection Registry.
O Atlas Stream Processing exibe todas as conexões disponíveis no registro de conexões da sua instância.
A API de Administração do Atlas fornece diferentes pontos de extremidade para recuperar uma ou todas as conexões em um registro de conexão.
Para listar todas as conexões disponíveis usando mongosh, use o método sp.listConnections(). Retorna uma lista de documentos que descrevem cada conexão no registro de conexões do espaço de trabalho do processamento de fluxos. Tem a seguinte sintaxe:
sp.listConnections()
Modifique uma conexão a partir do registro de conexão
Para modificar uma conexão a partir de um registro de conexão:
Para modificar os detalhes de uma conexão na área de trabalho de stream processing que você especificar usando a Atlas CLI, execute o seguinte comando:
atlas streams connections update <connectionName> [options]
To learn more about the command syntax and parameters, see the Atlas CLI documentation for atlas streams connections update.
No Atlas, vá para a página Stream Processing do seu projeto.
Se ainda não tiver sido exibido, selecione a organização que contém seu projeto no menu Organizations na barra de navegação.
Se ainda não estiver exibido, selecione seu projeto no menu Projects na barra de navegação.
Na barra lateral, clique em Stream Processing sob o título Streaming Data.
A página Processamento de fluxo é exibida.
Modificar a conexão.
Para a conexão que você deseja modificar na tabela, clique no ícone de lápis na coluna Actions .
Você pode editar uma conexão somente se ela não estiver sendo usada atualmente por um processador de fluxo. Se você quiser editar uma conexão em uso, interrompa primeiro todos os processadores de fluxo que usam a conexão.
Modifique os campos que você deseja modificar.
Clique em Save changes.
O Atlas Administration API fornece um ponto de extremidade para editar um espaço de trabalho do processamento de fluxos.
Exclua uma conexão do registro de conexão
Para excluir uma conexão de um registro de conexão:
Para remover uma conexão da área de trabalho de processamento de fluxo que você especificar usando a Atlas CLI, executar o seguinte comando:
atlas streams connections delete <connectionName> [options]
To learn more about the command syntax and parameters, see the Atlas CLI documentation for atlas streams connections delete.
No Atlas, vá para a página Stream Processing do seu projeto.
Se ainda não tiver sido exibido, selecione a organização que contém seu projeto no menu Organizations na barra de navegação.
Se ainda não estiver exibido, selecione seu projeto no menu Projects na barra de navegação.
Na barra lateral, clique em Stream Processing sob o título Streaming Data.
A página Processamento de fluxo é exibida.
O Atlas Administration API fornece um ponto de extremidade para editar um espaço de trabalho do processamento de fluxos.
Testar uma conexão a partir do Registro de conexão
Para verificar se uma conexão de um registro de conexão está funcionando corretamente na IU do Atlas:
No Atlas, vá para a página Stream Processing do seu projeto.
Se ainda não tiver sido exibido, selecione a organização que contém seu projeto no menu Organizations na barra de navegação.
Se ainda não estiver exibido, selecione seu projeto no menu Projects na barra de navegação.
Na barra lateral, clique em Stream Processing sob o título Streaming Data.
A página Processamento de fluxo é exibida.
Teste a conexão.
Para a conexão que você deseja testar na tabela, clique no ícone de link na coluna Actions dessa entrada.
Para conexões do Banco de Dados Atlas , insira o Database Name e Collection Name para testar a conexão com um banco de dados e coleção específicos.
Para conexões Kafka, insira o Topic Name para testar a conexão com um tópico específico.
Para outros tipos de conexão, nenhuma informação adicional é necessária.
Clique em Test Connection.
Listar conexões de link privado
A API de administração do Atlas fornece um endpoint para visualizar todas as conexões de link privado configuradas para o Atlas Stream Processing em um projeto específico.
Ver uma conexão de link privado
A API de administração do Atlas fornece um endpoint para visualizar os detalhes de uma conexão de link privado configurada para o Atlas Stream Processing em um projeto específico.
Excluir uma conexão de link privado
A API de administração do Atlas fornece um endpoint para excluir uma conexão Private Link configurada para Atlas Stream Processing dentro de um projeto especificado.