Join us Sept 17 at .local NYC! Use code WEB50 to save 50% on tickets. Learn more >
MongoDB Event
Docs Menu
Docs Home
/
Enterprise Kubernetes 演算子
/
参照アーキテクチャ
/
マルチクラスター アーキテクチャ

マルチクラスターMongoDB Ops Manager

MongoDB Ops Manager は、データのバックアップ、データベースのパフォーマンスの監視などのワークロードを容易にする役割を果たします。 マルチクラスターMongoDB Ops Managerとアプリケーション データベースの配置を、データセンター全体またはゾーンの障害に対して回復性のあるものにするには、 MongoDB Ops Managerアプリケーションとアプリケーション データベースを複数のKubernetesクラスターに配置します。

前提条件

次の手順を開始する前に、次のアクションを実行してください。

  • kubectl をインストールします。

  • GKE クラスターの手順または同等の手順を完了します。

  • TLS 証明書 の手順または同等の手順を実行します。

  • Istio Service メッシュ手順または同等の手順を完了します。

  • MongoDB演算子の配置 手順を完了します。

  • 必要な環境変数を次のように設定します。

# This script builds on top of the environment configured in the setup guides.
# It depends (uses) the following env variables defined there to work correctly.
# If you don't use the setup guide to bootstrap the environment, then define them here.
#  ${K8S_CLUSTER_0_CONTEXT_NAME}
#  ${K8S_CLUSTER_1_CONTEXT_NAME}
#  ${K8S_CLUSTER_2_CONTEXT_NAME}
#  ${OM_NAMESPACE}
export S3_OPLOG_BUCKET_NAME=s3-oplog-store
export S3_SNAPSHOT_BUCKET_NAME=s3-snapshot-store
# If you use your own S3 storage - set the values accordingly.
# By default we install Minio to handle S3 storage and here are set the default credentials.
export S3_ENDPOINT="minio.tenant-tiny.svc.cluster.local"
export S3_ACCESS_KEY="console"
export S3_SECRET_KEY="console123"
export OPS_MANAGER_VERSION="8.0.5"
export APPDB_VERSION="8.0.5-ent"

ソースコード

含まれているすべてのソースコードはMongoDB Kubernetes Operatorリポジトリにあります。

手順

1

TLS 証明書を生成します。

kubectl --context "${K8S_CLUSTER_0_CONTEXT_NAME}" -n "${OM_NAMESPACE}" apply -f - <<EOF
apiVersion: cert-manager.io/v1
kind: Certificate
metadata:
  name: om-cert
spec:
  dnsNames:
  - om-svc.${OM_NAMESPACE}.svc.cluster.local
  duration: 240h0m0s
  issuerRef:
    name: my-ca-issuer
    kind: ClusterIssuer
  renewBefore: 120h0m0s
  secretName: cert-prefix-om-cert
  usages:
  - server auth
  - client auth
---
apiVersion: cert-manager.io/v1
kind: Certificate
metadata:
  name: om-db-cert
spec:
  dnsNames:
  - "*.${OM_NAMESPACE}.svc.cluster.local"
  duration: 240h0m0s
  issuerRef:
    name: my-ca-issuer
    kind: ClusterIssuer
  renewBefore: 120h0m0s
  secretName: cert-prefix-om-db-cert
  usages:
  - server auth
  - client auth
EOF
2

MongoDB Ops Managerをインストールします。

この時点で、 リソースを配置するための環境とKubernetes OperatorMongoDB Ops Manager を準備しました。

  1. MongoDB Ops Manager管理ユーザーに必要な認証情報を作成します。この認証情報はKubernetes MongoDB Ops Managerアプリケーション インスタンスの配置後に作成されます。

    1kubectl --context "${K8S_CLUSTER_0_CONTEXT_NAME}" --namespace "${OM_NAMESPACE}" create secret generic om-admin-user-credentials \
    2  --from-literal=Username="admin" \
    3  --from-literal=Password="Passw0rd@" \
    4  --from-literal=FirstName="Jane" \
    5  --from-literal=LastName="Doe"

  2. 可能な限り単純な MongoDBOpsManager カスタムリソース（TLS が有効になっている）を単一ノード クラスターに配置します。これは演算子クラスターとも呼ばれます。

    この配置は 単一クラスターモードの配置とほぼ同じですが、spec.topology と spec.applicationDatabase.topology が MultiCluster に設定されています。

    この方法で配置すると、単一の Kubernetes クラスターの配置が、単一の Kubernetes ノード クラスターへの複数の Kubernetes クラスター配置の特殊なケースであることがわかります。 MongoDB Ops Managerアプリケーションとアプリケーション データベースは、最初から必要な数のKubernetesクラスターに最初から配置を開始できますKubernetesクラスターが 1 つだけの配置で開始する必要はありません。

    この時点で、複数のMongoDB Ops Manager Kubernetesクラスターにまたがるように の配置を準備しました。これはこの手順の後半で行います。

    1kubectl apply --context "${K8S_CLUSTER_0_CONTEXT_NAME}" -n "${OM_NAMESPACE}" -f - <<EOF
    2apiVersion: mongodb.com/v1
    3kind: MongoDBOpsManager
    4metadata:
    5  name: om
    6spec:
    7  topology: MultiCluster
    8  version: "${OPS_MANAGER_VERSION}"
    9  adminCredentials: om-admin-user-credentials
    10  externalConnectivity:
    11    type: LoadBalancer
    12  security:
    13    certsSecretPrefix: cert-prefix
    14    tls:
    15      ca: ca-issuer
    16  clusterSpecList:
    17    - clusterName: "${K8S_CLUSTER_0_CONTEXT_NAME}"
    18      members: 1
    19  applicationDatabase:
    20    version: "${APPDB_VERSION}"
    21    topology: MultiCluster
    22    security:
    23      certsSecretPrefix: cert-prefix
    24      tls:
    25        ca: ca-issuer
    26    clusterSpecList:
    27      - clusterName: "${K8S_CLUSTER_0_CONTEXT_NAME}"
    28        members: 3
    29  backup:
    30    enabled: false
    31EOF

  3. Kubernetes Operator が作業を選択し、 status.applicationDatabase.phase=Pending状態に達するまで待ちます。 アプリケーション データベースとMongoDB Ops Managerの両方の配置が完了するまで待機します。

    1echo "Waiting for Application Database to reach Pending phase..."
    2kubectl --context "${K8S_CLUSTER_0_CONTEXT_NAME}" -n "${OM_NAMESPACE}" wait --for=jsonpath='{.status.applicationDatabase.phase}'=Pending opsmanager/om --timeout=30s
    1Waiting for Application Database to reach Pending phase...
    2mongodbopsmanager.mongodb.com/om condition met

  4. MongoDB Ops Managerを配置します。 Kubernetes Operator は、次の手順を実行してMongoDB Ops Managerを配置します。 以下の条件に一致するもの。

    • アプリケーション データベースのレプリカセット ノードを配置し、レプリカセット内の MongoDB プロセスが実行を開始するのを待ちます。

    • アプリケーションMongoDB Ops Manager データベースの接続 を使用して アプリケーションstring インスタンスを配置し、それが準備されるのを待ちます。

    • 監視 MongoDB Agent コンテナを各アプリケーション データベースの ポッドに追加します。

    • MongoDB Ops Managerアプリケーションとアプリケーション データベース ポッドの両方が実行を開始するのを待ちます。

    1echo "Waiting for Application Database to reach Running phase..."
    2kubectl --context "${K8S_CLUSTER_0_CONTEXT_NAME}" -n "${OM_NAMESPACE}" wait --for=jsonpath='{.status.applicationDatabase.phase}'=Running opsmanager/om --timeout=900s
    3echo; echo "Waiting for Ops Manager to reach Running phase..."
    4kubectl --context "${K8S_CLUSTER_0_CONTEXT_NAME}" -n "${OM_NAMESPACE}" wait --for=jsonpath='{.status.opsManager.phase}'=Running opsmanager/om --timeout=900s
    5echo; echo "MongoDBOpsManager resource"
    6kubectl --context "${K8S_CLUSTER_0_CONTEXT_NAME}" -n "${OM_NAMESPACE}" get opsmanager/om
    7echo; echo "Pods running in cluster ${K8S_CLUSTER_0_CONTEXT_NAME}"
    8kubectl --context "${K8S_CLUSTER_0_CONTEXT_NAME}" -n "${OM_NAMESPACE}" get pods
    9echo; echo "Pods running in cluster ${K8S_CLUSTER_1_CONTEXT_NAME}"
    10kubectl --context "${K8S_CLUSTER_1_CONTEXT_NAME}" -n "${OM_NAMESPACE}" get pods
    1Waiting for Application Database to reach Running phase...
    2mongodbopsmanager.mongodb.com/om condition met
    3
    4Waiting for Ops Manager to reach Running phase...
    5mongodbopsmanager.mongodb.com/om condition met
    6
    7MongoDBOpsManager resource
    8NAME   REPLICAS   VERSION   STATE (OPSMANAGER)   STATE (APPDB)   STATE (BACKUP)   AGE   WARNINGS
    9om                8.0.5     Running              Running         Disabled         64m   
    10
    11Pods running in cluster gke_scratch-kubernetes-team_europe-central2-a_k8s-mdb-0-lucian
    12NAME        READY   STATUS    RESTARTS   AGE
    13om-0-0      2/2     Running   0          60m
    14om-db-0-0   4/4     Running   0          52m
    15om-db-0-1   4/4     Running   0          53m
    16om-db-0-2   4/4     Running   0          54m
    17
    18Pods running in cluster gke_scratch-kubernetes-team_europe-central2-b_k8s-mdb-1-lucian

    単一ノード クラスターをマルチクラスター モードで配置したので、この配置を複数の Kubernetes クラスターにまたがるように再構成できます。

  5. 2 番目のノード クラスターで、2 つの追加のアプリケーション データベース レプリカセット ノードと 1 つの MongoDB Ops Manager アプリケーションの追加のインスタンスを配置します。

    1kubectl apply --context "${K8S_CLUSTER_0_CONTEXT_NAME}" -n "${OM_NAMESPACE}" -f - <<EOF
    2apiVersion: mongodb.com/v1
    3kind: MongoDBOpsManager
    4metadata:
    5  name: om
    6spec:
    7  topology: MultiCluster
    8  version: "${OPS_MANAGER_VERSION}"
    9  adminCredentials: om-admin-user-credentials
    10  externalConnectivity:
    11    type: LoadBalancer
    12  security:
    13    certsSecretPrefix: cert-prefix
    14    tls:
    15      ca: ca-issuer
    16  clusterSpecList:
    17    - clusterName: "${K8S_CLUSTER_0_CONTEXT_NAME}"
    18      members: 1
    19    - clusterName: "${K8S_CLUSTER_1_CONTEXT_NAME}"
    20      members: 1
    21  applicationDatabase:
    22    version: "${APPDB_VERSION}"
    23    topology: MultiCluster
    24    security:
    25      certsSecretPrefix: cert-prefix
    26      tls:
    27        ca: ca-issuer
    28    clusterSpecList:
    29      - clusterName: "${K8S_CLUSTER_0_CONTEXT_NAME}"
    30        members: 3
    31      - clusterName: "${K8S_CLUSTER_1_CONTEXT_NAME}"
    32        members: 2
    33  backup:
    34    enabled: false
    35EOF

  6. Kubernetes Operator が作業を選択するまで待ちます（保留中フェーズ）。

    1echo "Waiting for Application Database to reach Pending phase..."
    2kubectl --context "${K8S_CLUSTER_0_CONTEXT_NAME}" -n "${OM_NAMESPACE}" wait --for=jsonpath='{.status.applicationDatabase.phase}'=Pending opsmanager/om --timeout=30s
    3
    4echo "Waiting for Ops Manager to reach Pending phase..."
    5kubectl --context "${K8S_CLUSTER_0_CONTEXT_NAME}" -n "${OM_NAMESPACE}" wait --for=jsonpath='{.status.opsManager.phase}'=Pending opsmanager/om --timeout=600s
    1Waiting for Application Database to reach Pending phase...
    2mongodbopsmanager.mongodb.com/om condition met
    3Waiting for Ops Manager to reach Pending phase...
    4mongodbopsmanager.mongodb.com/om condition met

  7. Kubernetes Operator がすべてのコンポーネントの配置を完了するまで待ちます。

    1echo "Waiting for Application Database to reach Running phase..."
    2kubectl --context "${K8S_CLUSTER_0_CONTEXT_NAME}" -n "${OM_NAMESPACE}" wait --for=jsonpath='{.status.applicationDatabase.phase}'=Running opsmanager/om --timeout=600s
    3echo; echo "Waiting for Ops Manager to reach Running phase..."
    4kubectl --context "${K8S_CLUSTER_0_CONTEXT_NAME}" -n "${OM_NAMESPACE}" wait --for=jsonpath='{.status.opsManager.phase}'=Running opsmanager/om --timeout=600s
    5echo; echo "MongoDBOpsManager resource"
    6kubectl --context "${K8S_CLUSTER_0_CONTEXT_NAME}" -n "${OM_NAMESPACE}" get opsmanager/om
    7echo; echo "Pods running in cluster ${K8S_CLUSTER_0_CONTEXT_NAME}"
    8kubectl --context "${K8S_CLUSTER_0_CONTEXT_NAME}" -n "${OM_NAMESPACE}" get pods
    9echo; echo "Pods running in cluster ${K8S_CLUSTER_1_CONTEXT_NAME}"
    10kubectl --context "${K8S_CLUSTER_1_CONTEXT_NAME}" -n "${OM_NAMESPACE}" get pods
    1Waiting for Application Database to reach Running phase...
    2mongodbopsmanager.mongodb.com/om condition met
    3
    4Waiting for Ops Manager to reach Running phase...
    5mongodbopsmanager.mongodb.com/om condition met
    6
    7MongoDBOpsManager resource
    8NAME   REPLICAS   VERSION   STATE (OPSMANAGER)   STATE (APPDB)   STATE (BACKUP)   AGE   WARNINGS
    9om                8.0.5     Running              Running         Disabled         71m   
    10
    11Pods running in cluster gke_scratch-kubernetes-team_europe-central2-a_k8s-mdb-0-lucian
    12NAME        READY   STATUS    RESTARTS   AGE
    13om-0-0      2/2     Running   0          3m14s
    14om-db-0-0   4/4     Running   0          60m
    15om-db-0-1   4/4     Running   0          61m
    16om-db-0-2   4/4     Running   0          62m
    17
    18Pods running in cluster gke_scratch-kubernetes-team_europe-central2-b_k8s-mdb-1-lucian
    19NAME        READY   STATUS    RESTARTS   AGE
    20om-1-0      2/2     Running   0          3m45s
    21om-db-1-0   4/4     Running   0          7m34s
    22om-db-1-1   4/4     Running   0          6m3s
3

バックアップを有効にします。

MongoDB Ops Managerアプリケーションのマルチ Kubernetes クラスター配置では、S3 ベースのバックアップストレージのみを構成できます。この手順では、env_variables.sh で定義されている S3_* を参照します。

  1. 任意。 MinIO 演算子 をインストールする 。

    この手順では、 MaxIO Operator を使用してバックアップ用に S3 互換ストレージを配置します。 Amazon Web Services S3 またはその他の S3 互換バケットが使用可能な場合は、この手順をスキップできます。この場合は、env_variables.sh で必要に応じて S3_* 変数を調整します。

    1kubectl kustomize "github.com/minio/operator/resources/?timeout=120&ref=v5.0.12" | \
    2  kubectl --context "${K8S_CLUSTER_0_CONTEXT_NAME}" apply -f -
    3
    4kubectl kustomize "github.com/minio/operator/examples/kustomization/tenant-tiny?timeout=120&ref=v5.0.12" | \
    5  kubectl --context "${K8S_CLUSTER_0_CONTEXT_NAME}" apply -f -
    6
    7# add two buckets to the tenant config
    8kubectl --context "${K8S_CLUSTER_0_CONTEXT_NAME}" -n "tenant-tiny" patch tenant/myminio \
    9  --type='json' \
    10  -p="[{\"op\": \"add\", \"path\": \"/spec/buckets\", \"value\": [{\"name\": \"${S3_OPLOG_BUCKET_NAME}\"}, {\"name\": \"${S3_SNAPSHOT_BUCKET_NAME}\"}]}]"
    11
    12kubectl --context "${K8S_CLUSTER_0_CONTEXT_NAME}" label namespace "tenant-tiny" istio-injection=enabled --overwrite

  2. バックアップを構成して有効にする前に、 シークレット を作成します。

    • s3-access-secret - にはS 3認証情報が含まれています。

    • s3-ca-cert - バケットのサーバー証明書を発行したCA証明書が含まれています。 この手順で使用されているサンプル MongoDB Ops 配置の場合、デフォルトの Kubernetes ルートCA証明書が証明書の署名に使用されます。 パブリックに信頼されているCA証明書ではないため、 MongoDB Ops Managerが接続を信頼できるようにするために、これを提供する必要があります。

    一般に信頼されている証明書を使用している場合は、この手順をスキップして、 spec.backup.s3Stores.customCertificateSecretRefsとspec.backup.s3OpLogStores.customCertificateSecretRefsの設定から値を削除できます。

    1kubectl --context "${K8S_CLUSTER_0_CONTEXT_NAME}" -n "${OM_NAMESPACE}" create secret generic s3-access-secret \
    2  --from-literal=accessKey="${S3_ACCESS_KEY}" \
    3  --from-literal=secretKey="${S3_SECRET_KEY}"
    4
    5# minio TLS secrets are signed with the default k8s root CA
    6kubectl --context "${K8S_CLUSTER_0_CONTEXT_NAME}" -n "${OM_NAMESPACE}" create secret generic s3-ca-cert \
    7  --from-literal=ca.crt="$(kubectl --context "${K8S_CLUSTER_0_CONTEXT_NAME}" -n kube-system get configmap kube-root-ca.crt -o jsonpath="{.data.ca\.crt}")"
4

バックアップが有効になっているMongoDB Ops Managerを再配置します。

  1. Kubernetes Operator は、すべてのコンポーネント、 MongoDB Ops Managerアプリケーション、バックアップデーモン インスタンス、およびアプリケーションデータベースのレプリカセット ノードを、 Kubernetes Operator を構成する任意のノードクラスター上の任意の組み合わせで構成して配置できます。

    マルチ Kubernetes クラスターの配置構成の柔軟性を示すには、3 番目のノード クラスターに 1 つのバックアップデーモン インスタンスのみを配置し、1 番目と 2 番目のクラスターに対して 0 個のバックアップデーモン ノードを指定します。

    1kubectl apply --context "${K8S_CLUSTER_0_CONTEXT_NAME}" -n "${OM_NAMESPACE}" -f - <<EOF
    2apiVersion: mongodb.com/v1
    3kind: MongoDBOpsManager
    4metadata:
    5  name: om
    6spec:
    7  topology: MultiCluster
    8  version: "${OPS_MANAGER_VERSION}"
    9  adminCredentials: om-admin-user-credentials
    10  externalConnectivity:
    11    type: LoadBalancer
    12  security:
    13    certsSecretPrefix: cert-prefix
    14    tls:
    15      ca: ca-issuer
    16  clusterSpecList:
    17    - clusterName: "${K8S_CLUSTER_0_CONTEXT_NAME}"
    18      members: 1
    19      backup:
    20        members: 0
    21    - clusterName: "${K8S_CLUSTER_1_CONTEXT_NAME}"
    22      members: 1
    23      backup:
    24        members: 0
    25    - clusterName: "${K8S_CLUSTER_2_CONTEXT_NAME}"
    26      members: 0
    27      backup:
    28        members: 1
    29  applicationDatabase:
    30    version: "${APPDB_VERSION}"
    31    topology: MultiCluster
    32    security:
    33      certsSecretPrefix: cert-prefix
    34      tls:
    35        ca: ca-issuer
    36    clusterSpecList:
    37      - clusterName: "${K8S_CLUSTER_0_CONTEXT_NAME}"
    38        members: 3
    39      - clusterName: "${K8S_CLUSTER_1_CONTEXT_NAME}"
    40        members: 2
    41  backup:
    42    enabled: true
    43    s3Stores:
    44      - name: my-s3-block-store
    45        s3SecretRef:
    46          name: "s3-access-secret"
    47        pathStyleAccessEnabled: true
    48        s3BucketEndpoint: "${S3_ENDPOINT}"
    49        s3BucketName: "${S3_SNAPSHOT_BUCKET_NAME}"
    50        customCertificateSecretRefs:
    51          - name: s3-ca-cert
    52            key: ca.crt
    53    s3OpLogStores:
    54      - name: my-s3-oplog-store
    55        s3SecretRef:
    56          name: "s3-access-secret"
    57        s3BucketEndpoint: "${S3_ENDPOINT}"
    58        s3BucketName: "${S3_OPLOG_BUCKET_NAME}"
    59        pathStyleAccessEnabled: true
    60        customCertificateSecretRefs:
    61          - name: s3-ca-cert
    62            key: ca.crt
    63EOF

  2. Kubernetes Operator が構成を完了するまで待ちます。

    1echo; echo "Waiting for Backup to reach Running phase..."
    2kubectl --context "${K8S_CLUSTER_0_CONTEXT_NAME}" -n "${OM_NAMESPACE}" wait --for=jsonpath='{.status.backup.phase}'=Running opsmanager/om --timeout=1200s
    3echo "Waiting for Application Database to reach Running phase..."
    4kubectl --context "${K8S_CLUSTER_0_CONTEXT_NAME}" -n "${OM_NAMESPACE}" wait --for=jsonpath='{.status.applicationDatabase.phase}'=Running opsmanager/om --timeout=600s
    5echo; echo "Waiting for Ops Manager to reach Running phase..."
    6kubectl --context "${K8S_CLUSTER_0_CONTEXT_NAME}" -n "${OM_NAMESPACE}" wait --for=jsonpath='{.status.opsManager.phase}'=Running opsmanager/om --timeout=600s
    7echo; echo "MongoDBOpsManager resource"
    8kubectl --context "${K8S_CLUSTER_0_CONTEXT_NAME}" -n "${OM_NAMESPACE}" get opsmanager/om
    9echo; echo "Pods running in cluster ${K8S_CLUSTER_0_CONTEXT_NAME}"
    10kubectl --context "${K8S_CLUSTER_0_CONTEXT_NAME}" -n "${OM_NAMESPACE}" get pods
    11echo; echo "Pods running in cluster ${K8S_CLUSTER_1_CONTEXT_NAME}"
    12kubectl --context "${K8S_CLUSTER_1_CONTEXT_NAME}" -n "${OM_NAMESPACE}" get pods
    13echo; echo "Pods running in cluster ${K8S_CLUSTER_2_CONTEXT_NAME}"
    14kubectl --context "${K8S_CLUSTER_2_CONTEXT_NAME}" -n "${OM_NAMESPACE}" get pods
    1Waiting for Backup to reach Running phase...
    2mongodbopsmanager.mongodb.com/om condition met
    3Waiting for Application Database to reach Running phase...
    4mongodbopsmanager.mongodb.com/om condition met
    5
    6Waiting for Ops Manager to reach Running phase...
    7mongodbopsmanager.mongodb.com/om condition met
    8
    9MongoDBOpsManager resource
    10NAME   REPLICAS   VERSION   STATE (OPSMANAGER)   STATE (APPDB)   STATE (BACKUP)   AGE   WARNINGS
    11om                8.0.5     Running              Running         Running          79m   
    12
    13Pods running in cluster gke_scratch-kubernetes-team_europe-central2-a_k8s-mdb-0-lucian
    14NAME        READY   STATUS    RESTARTS   AGE
    15om-0-0      2/2     Running   0          6m12s
    16om-db-0-0   4/4     Running   0          67m
    17om-db-0-1   4/4     Running   0          68m
    18om-db-0-2   4/4     Running   0          69m
    19
    20Pods running in cluster gke_scratch-kubernetes-team_europe-central2-b_k8s-mdb-1-lucian
    21NAME        READY   STATUS    RESTARTS   AGE
    22om-1-0      2/2     Running   0          6m13s
    23om-db-1-0   4/4     Running   0          14m
    24om-db-1-1   4/4     Running   0          13m
    25
    26Pods running in cluster gke_scratch-kubernetes-team_europe-central2-c_k8s-mdb-2-lucian
    27NAME                   READY   STATUS    RESTARTS   AGE
    28om-2-backup-daemon-0   2/2     Running   0          2m47s
5

Kubernetes Operator の認証情報を作成します。

認証情報を構成するには、 MongoDB Ops Manager組織を作成 し、 MongoDB Ops Manager UIで プログラムAPIキーを生成 し、 ロードバランサーIPのシークレットを作成する必要があります。詳細については、「 Kubernetes Operator の認証情報の作成 」を参照してください。

戻る

演算子を配置する

次へ

マルチクラスター レプリカセット

項目一覧