Atlas Stream Processing の管理

Atlas Kubernetes Operator を使用して、Atlas Stream Processing のstream processingワークスペースと接続を管理できます。Atlas Stream Processing を使用すると、Atlas データベースが使用するのと同じ MongoDB クエリ API を使用して、複雑なデータのストリームを処理できます。Atlas Stream Processing を使用すると、次のタスクを実行できます。

ストリーミングデータをバッチ処理に固有の遅延なしに継続的に動作させるための集計パイプラインを構築します。
継続的なスキーマ検証を実行して、メッセージが適切に作成されているかどうか、メッセージの破損を検出、遅延データの検出を行います。
Atlas コレクションまたはApache Kafkaクラスターに結果を継続的に公開することで、最新のビューとデータ分析を確保します。

Atlas Stream Processing コンポーネントは Atlas プロジェクトに直接属し、Atlas クラスターとは独立して動作します。詳細については、atlas-stream-processing を参照してください。

Stream Processing ワークスペースと接続

Atlas Stream Processing ワークスペースは、ストリーミングデータに対するすべての操作のコンテキストを提供します。サンプル接続、Atlasの変更ストリームへの接続、またはApache Kafkaシステムへの接続を構成できます。次に、ストリーム処理ワークスペースの接続レジストリに接続を追加できます。詳しくは、Atlas Stream Processing ワークスペースの管理を参照してください。

前提条件

Atlas Kubernetes Operator を使用してストリーム処理ワークスペースと接続を管理するには、次の手順を実行する必要があります。

接続レジストリとストリームプロセシングワークスペースを管理するには、またはProject Owner ロールを持つ AtlasProject Stream Processing Owner ユーザーが必要です。 2 つのロールの違いの詳細については、「プロジェクトロール」を参照してください。
Atlas Kubernetes Operatorが配置された実行中の Kubernetes クラスターを用意します。
IPアドレスが組織のAPIアクセスリストにあることを確認します。

手順

Atlas Kubernetes Operator を使用してストリーム処理ワークスペースとその接続を管理するには、次の手順を実行します。

Configure the `AtlasStreamWorkspace` Custom Resource.

例:

cat <<EOF | kubectl apply -f -
apiVersion: atlas.mongodb.com/v1
kind: AtlasStreamWorkspace
metadata:
  name: my-stream-workspace
spec:
  name: my-stream-workspace
  clusterConfig:
    provider: AWS
    region: VIRGINIA_USA
    tier: SP30
  projectRef:
    name: my-project
EOF

利用可能なパラメータの詳細については、 AtlasStreamWorkspaceカスタムリソースを参照してください。

注意

現在、Atlas Kubernetes Operator は、このカスタムリソースのAWSプロバイダーとVIRGINIA_USAリージョンのみをサポートしています。

Configure the `AtlasStreamConnection` Custom Resource.

サンプル接続、Atlas変更ストリームへの接続、またはApache Kafkaシステムへの接続を構成できます。

例:

apiVersion: atlas.mongodb.com/v1
kind: AtlasStreamConnection
metadata:
  name: my-stream-connection
spec:
  name: sample_stream_solar
  type: Sample

注意

spec.typeパラメータにSampleを指定する場合、 spec.nameパラメータはサンプルコレクション名と一致する必要があります。現在、Atlas Kubernetes Operator は、このカスタムリソースのsample_stream_solarサンプルコレクションのみをサポートしています。

apiVersion: atlas.mongodb.com/v1
kind: AtlasStreamConnection
metadata:
  name: my-stream-connection
spec:
  name: my-stream-connection
  type: Cluster
  clusterConfig:
    name: my-cluster
  role:
    name: my-db-role
    type: CUSTOM

apiVersion: atlas.mongodb.com/v1
kind: AtlasStreamConnection
metadata:
  name: my-stream-connection
spec:
  name: my-stream-connection
  type: Kafka
  kafkaConfig:
    bootstrapServers: "comma,separated,list,of,server,addresses"
    authentication:
      mechanism: SCRAM-512
      credentials:
        name: ref-to-creds-secret
        namespace: default
    security:
      protocol: SSL
      certificate:
        name: ref-to-certificate-secret
        namespace: default

利用可能なパラメータの詳細については、 AtlasStreamConnectionカスタムリソースを参照してください。

`AtlasStreamWorkspace` カスタムリソースの接続レジストリに接続を追加します。

例:

cat <<EOF | kubectl apply -f -
apiVersion: atlas.mongodb.com/v1
kind: AtlasStreamWorkspace
metadata:
   name: my-stream-workspace
spec:
  name: my-stream-workspace
  clusterConfig:
    provider: AWS
    region: VIRGINIA_USA
    tier: SP30
  projectRef:
    name: my-project
  connectionRegistry:
    - name: ref-my-connection-1
      namespace: my-namespace1
    - name: ref-my-connection-2
      namespace: my-namespace2
    - name: ref-my-connection-3
      namespace: my-namespace1
EOF