您可以使用Atlas Kubernetes Operator管理Atlas Stream Processing实例和Atlas Stream Processing的连接。 Atlas Stream Processing 使您能够使用与 Atlas 数据库相同的 MongoDB 查询 API来处理复杂的数据流。 Atlas Stream Processing 允许您执行以下任务:
构建聚合管道以持续处理流数据,而不会出现批处理中固有的延迟。
执行持续模式验证,以检查消息格式是否正确、检测消息损坏并检测延迟到达的数据。
不断将结果发布到Atlas集合或Apache Kafka 集群,确保最新的数据视图和分析。
Atlas Stream Processing组件直接属于Atlas项目,并独立于Atlas集群运行。要学习;了解更多信息,请参阅what-is-atlas-sp。
Atlas Stream Processing实例和连接
Atlas Stream Processing实例为流媒体数据进行的所有操作提供上下文。您可以配置示例连接、与Atlas变更流的连接或与Apache Kafka系统的连接。然后,您可以将该连接添加到流处理实例的连接注册表中。 要学习;了解更多信息,请参阅管理流处理实例。
先决条件
要使用Atlas Kubernetes Operator管理Atlas Stream Processing实例和连接,您必须:
Atlas user
Project Owner
Project Stream Processing Owner
让具有 或Atlas Stream Processing 角色的 来管理连接注册表和 实例。要进一步了解这两个角色之间的区别,请参阅项目角色。拥有一个运行的Kubernetes集群,其中部署了Atlas Kubernetes Operator 。
确保您的 IP地址在组织的API访问列表中。
步骤
要使用Atlas Kubernetes Operator管理Atlas Stream Processing实例及其连接,请执行以下步骤:
配置 AtlasStreamInstance
自定义资源。
示例:
cat <<EOF | kubectl apply -f - apiVersion: atlas.mongodb.com/v1 kind: AtlasStreamInstance metadata: name: my-stream-instance spec: name: my-stream-instance clusterConfig: provider: AWS region: VIRGINIA_USA tier: SP30 projectRef: name: my-project EOF
要了解有关可用参数的更多信息,请参阅AtlasStreamInstance
自定义资源。
注意
目前,Atlas Kubernetes Operator 仅支持此自定义资源的AWS
提供程序和VIRGINIA_USA
区域。
配置 AtlasStreamConnection
自定义资源。
您可以配置示例连接、与Atlas 变更流的连接或与Apache Kafka系统的连接。
例子:
apiVersion: atlas.mongodb.com/v1 kind: AtlasStreamConnection metadata: name: my-stream-connection spec: name: sample_stream_solar type: Sample
注意
如果您为spec.type
参数指定Sample
,则spec.name
参数必须与样本集合名称匹配。 目前,Atlas Kubernetes Operator 仅支持此自定义资源的sample_stream_solar
样本集合。
apiVersion: atlas.mongodb.com/v1 kind: AtlasStreamConnection metadata: name: my-stream-connection spec: name: my-stream-connection type: Cluster clusterConfig: name: my-cluster role: name: my-db-role type: CUSTOM
apiVersion: atlas.mongodb.com/v1 kind: AtlasStreamConnection metadata: name: my-stream-connection spec: name: my-stream-connection type: Kafka kafkaConfig: bootstrapServers: "comma,separated,list,of,server,addresses" authentication: mechanism: SCRAM-512 credentials: name: ref-to-creds-secret namespace: default security: protocol: SSL certificate: name: ref-to-certificate-secret namespace: default
要了解有关可用参数的更多信息,请参阅AtlasStreamConnection
自定义资源。
将连接添加到AtlasStreamInstance
自定义资源中的连接注册表。
示例:
cat <<EOF | kubectl apply -f - apiVersion: atlas.mongodb.com/v1 kind: AtlasStreamInstance metadata: name: my-stream-instance spec: name: my-stream-instance clusterConfig: provider: AWS region: VIRGINIA_USA tier: SP30 projectRef: name: my-project connectionRegistry: - name: ref-my-connection-1 namespace: my-namespace1 - name: ref-my-connection-2 namespace: my-namespace2 - name: ref-my-connection-3 namespace: my-namespace1 EOF
注意
目前,Atlas Kubernetes Operator 仅支持此自定义资源的AWS
提供程序和VIRGINIA_USA
区域。
要了解有关可用参数的更多信息,请参阅AtlasStreamInstance
自定义资源。