管理连接注册表
每个流处理实例都将每个已配置的流数据源或接收器连接存储在其连接注册表中。此页面上的程序将引导您创建和配置 Atlas Stream Processing 连接。
先决条件
要创建和配置连接,您必须具备以下条件:
Atlas 项目
具有
Project Owner
或Project Stream Processing Owner
角色的 Atlas 用户,用于管理连接注册表注意
Project Owner
角色允许您创建数据库部署、管理项目访问和项目设置、管理 IP 访问列表条目等。Project Stream Processing Owner
角色支持 Atlas Stream Processing 操作,例如查看、创建、删除和编辑流处理实例,以及查看、添加、修改和删除连接注册表中的连接。请参阅项目角色,详细了解这两个角色之间的区别。
Atlas 集群
查看连接注册表中的连接
要查看与Atlas Stream Processing实例的连接,请执行以下操作:
要列出使用 Atlas CLI 指定的一个Atlas Stream Processing实例的所有连接,请运行以下命令:
atlas streams connections list [options]
要使用 Atlas CLI 返回指定的一个Atlas Stream Processing连接的详细信息,请运行以下命令:
atlas streams connections describe <streamConnectionName> [options]
要了解有关上述命令的事务语法和参数的更多信息,请参阅 Atlas CLI 文档中的 Atlas Streams 连接列表和Atlas Streams 连接描述。
在 AtlasStream Processing 中,转到项目的 页面。
如果尚未显示,请从导航栏上的 Organizations 菜单中选择包含项目的组织。
如果尚未显示,请从导航栏的 Projects 菜单中选择您的项目。
在侧边栏中,单击Services标题下的Stream Processing 。
此时会显示“流处理”页面。
要使用mongosh
列出所有可用连接,请使用sp.listConnections()
方法。它返回描述流处理实例的连接注册表中每个连接的文档列表。它具有以下语法:
sp.listConnections()
将连接添加到连接注册表
Atlas Stream Processing 支持以下连接类型:
每种类型都有不同的配置要求。
添加 Apache Kafka 连接
要将 Kafka 连接添加到流处理实例,请执行以下操作:
要使用 Atlas CLI 为指定的 Atlas Stream Processing 实例创建一个连接,请运行以下命令:
atlas streams connections create [connectionName] [options]
要了解有关命令语法和参数的更多信息,请参阅 Atlas Streams 连接创建的 Atlas CLI 文档。
使用 Atlas CLI 创建流处理实例时,必须提供.json
配置文件来定义新连接的参数。此文件的格式取决于您定义的连接类型。
对于 Apache Kafka 连接,提供具有以下语法的配置文件:
{ "name": "<name>", "type": "Kafka", "bootstrapServers": "<address:port>, ...", "security": { "protocol": "<protocol>" }, "authentication": { "mechanism": "<auth-mechanism>", "username": "<username>", "password": "<password>" } }
在 AtlasStream Processing 中,转到项目的 页面。
如果尚未显示,请从导航栏上的 Organizations 菜单中选择包含项目的组织。
如果尚未显示,请从导航栏的 Projects 菜单中选择您的项目。
在侧边栏中,单击Services标题下的Stream Processing 。
此时会显示“流处理”页面。
添加新连接。
选择一个Kafka连接。
提供一个Connection Name 。每个连接名称在流处理实例中必须是唯一的。这是用于引用 Atlas Stream Processing聚合中的连接的名称。
选择Network Access类型。 Atlas Stream Processing 支持Public IP或VPC Peering连接。
Atlas Stream Processing 的 VPC 对等互连目前处于私有预览阶段。如需了解更多信息,请联系您的客户团队。
单击Public IP按钮。此网络访问类型无需进一步配置。
单击 VPC Peering 按钮。
打开Enable VPC Peering 。
从下拉菜单中,选择现有的VPC 对等连接之一。如果您没有 VPC 对等互连,请配置 Atlas 网络对等连接。
为一台或多台 引导服务器 指定 IP 地址 为您的 Apache Kafka 系统。
从下拉菜单中选择Security Protocol Method 。
Atlas Stream Processing 支持
SASL_PLAINTEXT
或SASL_SSL
。SASL_PLAINTEXT
与 VPC 对等互联不兼容。要使用 VPC 对等互连,您必须选择SASL_SSL
方法。从下拉菜单中选择SASL Mechanism 。
Atlas Stream Processing 支持:
PLAIN
SCRAM-SHA-256
SCRAM-SHA-512
提供Username进行身份验证。
提供用于身份验证的密码。
单击 Add connection(连接)。
从下拉菜单中选择SASL Mechanism 。
Atlas Stream Processing 支持:
PLAIN
SCRAM-SHA-256
SCRAM-SHA-512
点击Upload上传您的Certificate Authority PEM file
提供Username进行身份验证。
提供用于身份验证的密码。
单击 Add connection(连接)。
Atlas Administration API 提供了一个端点,用于将连接添加到连接注册表。
重要
添加外部连接(例如 Apache Kafka 集群到连接注册表,您必须将 Atlas IP 地址添加到该外部连接的访问列表。有关更多信息,请参阅 允许访问 Atlas 控制面或从 Atlas 控制面进行访问。
添加 Atlas 连接
要将 Atlas 数据库连接添加到流处理实例,请执行以下操作:
要使用 Atlas CLI 为指定的 Atlas Stream Processing 实例创建一个连接,请运行以下命令:
atlas streams connections create [connectionName] [options]
要了解有关命令语法和参数的更多信息,请参阅 Atlas Streams 连接创建的 Atlas CLI 文档。
使用 Atlas CLI 创建流处理实例时,必须提供.json
配置文件来定义新连接的参数。此文件的格式取决于您定义的连接类型。
对于 Atlas 数据库连接,请提供具有以下语法的配置文件:
{ "name": "<name>", "type": "Cluster", "clusterName": "<clusterName>" }
在 AtlasStream Processing 中,转到项目的 页面。
如果尚未显示,请从导航栏上的 Organizations 菜单中选择包含项目的组织。
如果尚未显示,请从导航栏的 Projects 菜单中选择您的项目。
在侧边栏中,单击Services标题下的Stream Processing 。
此时会显示“流处理”页面。
添加新连接。
要创建与 Atlas变更流 的新连接,请执行以下操作:
选择一个Atlas Database连接。
提供一个Connection Name 。每个连接名称在流处理实例中必须是唯一的。这是用于引用 Atlas Stream Processing聚合中的连接的名称。
从下拉菜单中选择Atlas Cluster 。 Atlas Stream Processing 仅适用于专用层集群。
单击 Add connection(连接)。
Atlas Administration API 提供了一个端点,用于将连接添加到连接注册表。
从连接注册表修改连接
要从连接注册表修改连接,请执行以下操作:
要使用 Atlas CLI 修改指定的 Atlas Stream Processing 实例上的一个连接的详细信息,请运行以下命令:
atlas streams connections update <connectionName> [options]
要了解有关命令语法和参数的更多信息,请参阅 Atlas Streams 连接更新的 Atlas CLI 文档。
在 AtlasStream Processing 中,转到项目的 页面。
如果尚未显示,请从导航栏上的 Organizations 菜单中选择包含项目的组织。
如果尚未显示,请从导航栏的 Projects 菜单中选择您的项目。
在侧边栏中,单击Services标题下的Stream Processing 。
此时会显示“流处理”页面。
Atlas Administration API 提供用于编辑流处理实例的端点。
删除连接注册表中的连接
要从连接注册表中删除连接,请执行以下操作:
要从使用 Atlas CLI 指定的 Atlas Stream Processing 实例中删除一个连接,请运行以下命令:
atlas streams connections delete <connectionName> [options]
要了解有关命令语法和参数的更多信息,请参阅 Atlas Streams 连接删除的 Atlas CLI 文档。
在 AtlasStream Processing 中,转到项目的 页面。
如果尚未显示,请从导航栏上的 Organizations 菜单中选择包含项目的组织。
如果尚未显示,请从导航栏的 Projects 菜单中选择您的项目。
在侧边栏中,单击Services标题下的Stream Processing 。
此时会显示“流处理”页面。
Atlas Administration API 提供用于编辑流处理实例的端点。