Conexões Apache Kafka

Configure seu cluster do AWS MSK.

Você deve configurar seu cluster do AWS MSK para aceitar conexões recebidas do seu projeto do Atlas.

1. Utilize o ponto de extremidade Obter detalhes da conta para recuperar a identidade principal da AWS. Você precisará desse valor para a política do cluster AWS MSK.

2. Faça login no Console de Gerenciamento do AWS e navegue até o console do AWS MSK. Certifique-se de que multi-VPC connectivity esteja ativado no cluster ao qual você deseja se conectar.

3. Clique em Properties, Security Settings e Edit cluster policy.

   Forneça o formulário ARN completo da identidade principal que você recuperou anteriormente como o valor de Statement.Principal.Aws.[] e verifique se a política usa o seguinte formato:

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Principal": {
                   "AWS": [
                       "arn:aws:iam:123456789012:root"
                   ]
               },
               "Action": [
                   "kafka:CreateVpcConnection",
                   "kafka:GetBootstrapBrokers",
                   "kafka:DescribeCluster",
                   "kafka:DescribeClusterV2"
               ],
               "Resource": "arn:aws:kafka:us-east-1:123456789012:cluster/testing/de8982fa-8222-4e87-8b20-9bf3cdfa1521-2"
           }
       ]
   }

Solicite uma conexão com seu provedor de nuvem.

A API de administração do Atlas fornece um endpoint para solicitar uma conexão de link privado configurada para o Atlas Stream Processing.

Criar um link privado

atlas streams privateLinks create [options]

Para uma conexão do AWS MSK Private Link, é necessário definir os seguintes pares de chave-valor:

Você pode localizar o ARN nos detalhes de rede do seu cluster AWS MSK.

O seguinte comando de exemplo solicita uma conexão com o seu cluster do AWS MSK e mostra uma resposta típica:

curl --location 'https://cloud.mongodb.com/api/atlas/v2/groups/8358217d3abb5c76c3434648/streams/privateLinkConnections' \
--digest \
--user "slrntglrbn:933fb118-ac62-4991-db05-ee67a3481fde" \
--header 'Content-Type: application/json' \
--header 'Accept: application/vnd.atlas.2023-02-01+json' \
--data '{ "vendor": "msk",
  "provider": "AWS",
  "arn": "1235711"}'

{"_id":"6aa12e7ccd660d4b2380b1c1","dnsDomain":"scram.sample.us-east-1.amazonaws.com","vendor":"msk","provider":"AWS","region":"us_east_1","serviceEndpointId":"com.amazonaws.vpce.us-east-1.vpce-svc-93da685022ee702a9"}

Depois de enviar a solicitação, observe o valor do campo _id no corpo da resposta. Você precisará disso em uma etapa posterior.

Crie a conexão Atlas-side.

Importante: este exemplo mostra como adicionar uma conexão segura usando SASL_SSL. Você também pode proteger uma conexão usando SSL mútuo.

Para obter mais informações sobre os campos compatíveis com essa API para autenticação do SSL, consulte a documentação da API do Atlas Admin.

Adicione uma conexão com os seguintes pares de valores-chave:

Defina todos os outros valores conforme necessário.

O seguinte comando de exemplo cria uma conexão Apache Kafka no Atlas:

curl --location 'https://cloud.mongodb.com/api/atlas/v2/groups/8358217d3abb5c76c3434648/streams/spinstance/connections' \
--digest \
--user "slrntglrbn:933fb118-ac62-4991-db05-ee67a3481fde" \
--header 'Content-Type: application/json' \
--header 'Accept: application/vnd.atlas.2023-02-01+json' \
--data '{
  "name": "msk_demo",
  "bootstrapServers": "slr-ntgrbn.sample.us-east-1.amazonaws.com:9092",
  "security": {
    "protocol": "SASL_SSL"
  },
  "authentication": {
    "mechanism": "PLAIN",
    "password": "scramSecretDemo",
    "username": "scramUserDemo"
  },
  "type": "Kafka",
  "networking": {
    "access": {
    "type": "PRIVATE_LINK",
    "connectionId": "38972b0cbe9c2aa40a30a246"
    }
  }
}'

No Atlas, váGo para a Network Access página do seu projeto.

AVISO: Melhorias de navegação em andamento

No momento, estamos implementando uma experiência de navegação nova e aprimorada. Se as etapas a seguir não corresponderem à sua visualização na IU do Atlas, consulte a documentação de pré-visualização.

1. Se ainda não tiver sido exibido, selecione a organização que contém seu projeto no menu Organizations na barra de navegação.

2. Se ainda não estiver exibido, selecione seu projeto no menu Projects na barra de navegação.

3. Na barra lateral, clique em Network Access sob o título Security.

   A página Acesso à rede é exibida.

Acesse a interface do ponto de extremidade privado do Atlas Stream Processing.

1. Clique na aba Private Endpoint.

2. Clique na aba Atlas Stream Processing.

3. Clique em Create endpoint.

Selecione seu provedor de nuvem e fornecedor.

1. Defina Cloud Provider como AWS.

2. Defina Vendor como MSK.

3. Clique em Next, enter service details.

Forneça o ARN do cluster do AWS MSK.

Clique em Next, generate endpoint ID.