Atlas Kubernetes Operator を使用して、Atlas Stream Processing のstream processingワークスペースと接続を管理できます。Atlas Stream Processing を使用すると、Atlas データベースが使用するのと同じ MongoDB クエリ API を使用して、複雑なデータのストリームを処理できます。Atlas Stream Processing を使用すると、次のタスクを実行できます。
ストリーミング データをバッチ処理に固有の遅延なしに継続的に動作させるための集計パイプラインを構築します。
継続的なスキーマ検証を実行して、メッセージが適切に作成されているかどうか、メッセージの破損を検出、遅延データの検出を行います。
Atlas コレクションまたはApache Kafkaクラスターに結果を継続的に公開することで、最新のビューとデータ分析を確保します。
Atlas Stream Processing コンポーネントは Atlas プロジェクトに直接属し、Atlas クラスターとは独立して動作します。詳細については、atlas-stream-processing を参照してください。
Stream Processing ワークスペースと接続
Atlas Stream Processing ワークスペースは、ストリーミングデータに対するすべての操作のコンテキストを提供します。サンプル接続、Atlas 変更ストリームへの接続、またはApache Kafkaシステムへの接続を構成できます。その後、ストリームプロセシングワークスペースの接続を接続レジストリに追加できます。詳細については、manage-spi を参照してください。
前提条件
Atlas Kubernetes Operator を使用してストリーム処理ワークスペースと接続を管理するには、次の手順を実行する必要があります。
接続レジストリとストリーム プロセシング ワークスペースを管理するには、
Project OwnerまたはProject Stream Processing Ownerロールを持つ Atlas user が必要です。2つのロールの違いの詳細については、プロジェクト ロールを参照してください。Atlas Kubernetes Operatorが配置された実行中の Kubernetes クラスターを用意します。
IPアドレスが組織のAPIアクセス リストにあることを確認します。
手順
Atlas Kubernetes Operator を使用してストリーム処理ワークスペースとその接続を管理するには、次の手順を実行します。
AtlasStreamWorkspace カスタム リソースを構成します。
例:
cat <<EOF | kubectl apply -f - apiVersion: atlas.mongodb.com/v1 kind: AtlasStreamWorkspace metadata: name: my-stream-workspace spec: name: my-stream-workspace clusterConfig: provider: AWS region: VIRGINIA_USA tier: SP30 projectRef: name: my-project EOF
利用可能なパラメータの詳細については、 AtlasStreamWorkspaceカスタム リソースを参照してください。
注意
現在、Atlas Kubernetes Operator は、このカスタム リソースのAWSプロバイダーとVIRGINIA_USAリージョンのみをサポートしています。
AtlasStreamConnection カスタム リソースを構成します。
サンプル接続、Atlas変更ストリームへの接続、またはApache Kafkaシステムへの接続を構成できます。
例:
apiVersion: atlas.mongodb.com/v1 kind: AtlasStreamConnection metadata: name: my-stream-connection spec: name: sample_stream_solar type: Sample
注意
spec.typeパラメータにSampleを指定する場合、 spec.nameパラメータはサンプル コレクション名と一致する必要があります。 現在、Atlas Kubernetes Operator は、このカスタム リソースのsample_stream_solarサンプル コレクションのみをサポートしています。
apiVersion: atlas.mongodb.com/v1 kind: AtlasStreamConnection metadata: name: my-stream-connection spec: name: my-stream-connection type: Cluster clusterConfig: name: my-cluster role: name: my-db-role type: CUSTOM
apiVersion: atlas.mongodb.com/v1 kind: AtlasStreamConnection metadata: name: my-stream-connection spec: name: my-stream-connection type: Kafka kafkaConfig: bootstrapServers: "comma,separated,list,of,server,addresses" authentication: mechanism: SCRAM-512 credentials: name: ref-to-creds-secret namespace: default security: protocol: SSL certificate: name: ref-to-certificate-secret namespace: default
利用可能なパラメータの詳細については、 AtlasStreamConnectionカスタム リソースを参照してください。
カスタム リソースAtlasStreamWorkspace の接続レジストリに接続を追加します。
例:
cat <<EOF | kubectl apply -f - apiVersion: atlas.mongodb.com/v1 kind: AtlasStreamWorkspace metadata: name: my-stream-workspace spec: name: my-stream-workspace clusterConfig: provider: AWS region: VIRGINIA_USA tier: SP30 projectRef: name: my-project connectionRegistry: - name: ref-my-connection-1 namespace: my-namespace1 - name: ref-my-connection-2 namespace: my-namespace2 - name: ref-my-connection-3 namespace: my-namespace1 EOF
注意
現在、Atlas Kubernetes Operator は、このカスタム リソースのAWSプロバイダーとVIRGINIA_USAリージョンのみをサポートしています。
利用可能なパラメータの詳細については、 AtlasStreamWorkspaceカスタム リソースを参照してください。