複数のMongoDB Ops Manager Kubernetesクラスターでのリソースの配置

マルチクラスターMongoDB Ops Managerとアプリケーションデータベースの配置を、データセンター全体またはゾーン全体の障害に対して回復性のあるものにするには、 MongoDB Ops Managerアプリケーションとアプリケーションデータベースを複数のKubernetesクラスターに配置します。

Ops Manager リソースのマルチ Kubernetes クラスター配置のアーキテクチャ、ネットワーク、制限、パフォーマンスの詳細については、以下を参照してください。

Overview

注意

次の手順では、すべてのKubernetesクラスターにわたってサービスキャッシュを配置する必要があります。サービスメッシュなしで複数のKubernetesクラスターにMongoDB Ops Managerを配置する必要がある場合は、サービスメッシュを使用しないマルチクラスターMongoDB Ops Manager を参照してください。

このセクションの手順を使用してMongoDB Ops Managerアプリケーションとアプリケーションデータベースを配置する場合は、次の操作を行います。

マルチ Kubernetes クラスター配置のデモに役立つツールとして、GKE（Google Kubernetes Engine）と Istio サービスキャッシュを使用します。
Kubernetes演算子を、中央クラスターとして勤めるノードKubernetesクラスターの1つにインストールします。中央クラスターは、Kubernetes演算子が複数のKubernetesクラスター上の配置をマネージドするために使用する"ハブアンドスポーク"パスワードなしのハブとして機能します。
$OPERATOR_NAMESPACEに中央クラスターを配置し、このクラスターが$NAMESPACEを監視して、すべてのノードKubernetesクラスターを管理するように構成します。
アプリケーションデータベースとMongoDB Ops Managerアプリケーションを単一ノードのKubernetesクラスターに配置して、マルチクラスター配置と単一クラスター配置の類似性を示します。 spec.topologyとspec.applicationDatabase.topologyがMultiClusterに設定されている単一クラスターの配置は、さらに Kubernetes クラスターを追加するための配置を準備します。
アプリケーションデータベースの回復力を改善するために、追加のアプリケーションデータベースレプリカセットを 2 つ目のメンバー Kubernetes クラスターに配置します。また、2MongoDB Ops Manager Kubernetes番目のノードであるクラスターに追加のアプリケーションインスタンスを配置します。
TLS 暗号化用の有効な証明書を作成し、MongoDB Ops Manager アプリケーションとの送受信およびアプリケーションデータベースのレプリカセット間で TLS 暗号化された接続を確立します。HTTPS 経由で実行する場合、Ops Manager はポート 8443 でデフォルトで実行されます。
S3互換ストレージを使用してバックアップを有効にし、3番目のノードKubernetesクラスターにバックアップデーモンを配置します。S3互換ストレージバケットのセットアップを簡素化するために、MinIO 演算子を配置します。配置内の1つのメンバーノードクラスターでのみバックアップデーモンを有効にします。ただし、他のノードクラスターもバックアップデーモンリソースをホストするように構成できます。マルチクラスターMongoDB Ops Manager配置では、S3バックアップのみがサポートされます。

前提条件

ツールのインストール
gcloud CLI への認可
kubectl mongodbプラグインをインストール
Kubernetes Operator リポジトリ用のMongoDBドライバーのクローン作成
環境変数を設定する

ツールのインストール

配置を開始する前に、次の必要なツールをインストールしてください。

Helm をインストールします.Kubernetes Operator のインストールには Helm のインストールが必要です。
kubernetes をインストールします.
Prepare the GCP project so that you can use it to create GKE (Google Kubernetes Engine) clusters. In the following procedure, you create three new GKE clusters, with a total of seven e2-standard-4 low-cost Spot VMs.
gcloud CLI をインストールします.

gcloud CLI への認可

gcloud CLI をインストールし、それに認可します。

gcloud auth login

`kubectl mongodb`プラグインをインストール

kubetl MongoDBプラグインは、 Kubernetesクラスターの構成を自動化します。これにより、 Kubernetes Operator は、これらのクラスター上のMongoDB Ops Managerアプリケーション、アプリケーションデータベース、およびMongoDBリソースのリソース、必要なロール、サービスを配置できます。

kubectl mongodbプラグインをインストールするには次の手順に従います。

ご希望の Kubernetes Operator パッケージバージョンをダウンロードします。

Kubernetes Operator リポジトリ用のMongoDBコントロールのリリースページから、ご希望のKubernetes Operatorパッケージバージョンをダウンロードします。

パッケージの名前には次のパターンが使用されます: kubectl-mongodb_{{ .Version }}_{{ .Os }}_{{ .Arch }}.tar.gz 。

次のいずれかのパッケージを使用します。

kubectl-mongodb_{{ .Version }}_darwin_amd64.tar.gz
kubectl-mongodb_{{ .Version }}_darwin_arm64.tar.gz
kubectl-mongodb_{{ .Version }}_linux_amd64.tar.gz
kubectl-mongodb_{{ .Version }}_linux_arm64.tar.gz

Kubernetes Operator パッケージを解凍します。

次の例のように、パッケージを解凍します。

tar -zxvf kubectl-mongodb_<version>_darwin_amd64.tar.gz

`kubectl mongodb`プラグインバイナリを見つけて、目的の宛先にコピーします。

解凍されたディレクトリでkubectl-mongodbバイナリを見つけ、次の例に示すように、Kubernetes Operator ユーザーの PATH 内にある目的の宛先に移動します。

mv kubectl-mongodb /usr/local/bin/kubectl-mongodb

これで、次のコマンドを使用してkubectl mongodbプラグインを実行できるようになります。

kubectl mongodb multicluster setupkubectl mongodb multicluster recover

サポートされているフラグの詳細については、 MongoDB kubernetes プラグインリファレンスを参照してください。

Kubernetes Operator リポジトリ用のMongoDBドライバーのクローン作成

Kubernetes Operator 用のMongoDBコントロールリポジトリをクローンし、 mongodb-kubernetesディレクトリに変更して、現在のバージョンを確認します。

git clone https://github.com/mongodb/mongodb-kubernetes.gitcd mongodb-kubernetesgit checkout 1.15.0cd public/architectures

重要

このガイドの一部の手順は、 public/samples/ops-manager-multi-clusterディレクトリから実行した場合にのみ機能します。

環境変数を設定する

このガイドのすべての手順は、 env_variables.shで定義された環境変数を参照します。

1export MDB_GKE_PROJECT="### Set your GKE project name here ###"2
3export NAMESPACE="mongodb"4export OPERATOR_NAMESPACE="mongodb-operator"5
6# comma-separated key=value pairs7# export OPERATOR_ADDITIONAL_HELM_VALUES=""8
9# Adjust the values for each Kubernetes cluster in your deployment.10# The deployment script references the following variables to get values for each cluster.11export K8S_CLUSTER_0="k8s-mdb-0"12export K8S_CLUSTER_0_ZONE="europe-central2-a"13export K8S_CLUSTER_0_NUMBER_OF_NODES=314export K8S_CLUSTER_0_MACHINE_TYPE="e2-standard-4"15export K8S_CLUSTER_0_CONTEXT_NAME="gke_${MDB_GKE_PROJECT}_${K8S_CLUSTER_0_ZONE}_${K8S_CLUSTER_0}"16
17export K8S_CLUSTER_1="k8s-mdb-1"18export K8S_CLUSTER_1_ZONE="europe-central2-b"19export K8S_CLUSTER_1_NUMBER_OF_NODES=320export K8S_CLUSTER_1_MACHINE_TYPE="e2-standard-4"21export K8S_CLUSTER_1_CONTEXT_NAME="gke_${MDB_GKE_PROJECT}_${K8S_CLUSTER_1_ZONE}_${K8S_CLUSTER_1}"22
23export K8S_CLUSTER_2="k8s-mdb-2"24export K8S_CLUSTER_2_ZONE="europe-central2-c"25export K8S_CLUSTER_2_NUMBER_OF_NODES=126export K8S_CLUSTER_2_MACHINE_TYPE="e2-standard-4"27export K8S_CLUSTER_2_CONTEXT_NAME="gke_${MDB_GKE_PROJECT}_${K8S_CLUSTER_2_ZONE}_${K8S_CLUSTER_2}"28
29# Comment out the following line so that the script does not create preemptible nodes.30# DO NOT USE preemptible nodes in production.31export GKE_SPOT_INSTANCES_SWITCH="--preemptible"32
33export S3_OPLOG_BUCKET_NAME=s3-oplog-store34export S3_SNAPSHOT_BUCKET_NAME=s3-snapshot-store35
36# minio defaults37export S3_ENDPOINT="minio.tenant-tiny.svc.cluster.local"38export S3_ACCESS_KEY="console"39export S3_SECRET_KEY="console123"40
41export OFFICIAL_OPERATOR_HELM_CHART="mongodb/mongodb-kubernetes"42export OPERATOR_HELM_CHART="${OFFICIAL_OPERATOR_HELM_CHART}"43
44# (Optional) Change the following setting when using the external URL.45# This env variable is used in OpenSSL configuration to generate46# server certificates for Ops Manager Application.47export OPS_MANAGER_EXTERNAL_DOMAIN="om-svc.${NAMESPACE}.svc.cluster.local"48
49export OPS_MANAGER_VERSION="7.0.4"50export APPDB_VERSION="7.0.9-ubi8"

コメントで指示されているように、前の例の設定をニーズに合わせて調整し、次のように shell に入力します。

source env_variables.sh

重要

env_variables.shを更新するたびに、 source env_variables.shを実行して、このセクションのスクリプトが更新された変数を使用することを確認します。

手順

この手順は、複数のMongoDB Ops Manager Kubernetesクラスターにインスタンスを配置する場合に適用されます。

Kubernetes クラスターを作成します。

サービスメトリクスを使用して独自の Kubernetes クラスターをすでにインストールして構成している場合は、この手順を省略できます。

次の 3 つの GKE（Google Kubernetes Engine）クラスターを作成します。
```
1gcloud container clusters create "${K8S_CLUSTER_0}" \2      --zone="${K8S_CLUSTER_0_ZONE}" \3      --num-nodes="${K8S_CLUSTER_0_NUMBER_OF_NODES}" \4      --machine-type "${K8S_CLUSTER_0_MACHINE_TYPE}" \5      ${GKE_SPOT_INSTANCES_SWITCH:-""}
```
```
1gcloud container clusters create "${K8S_CLUSTER_1}" \2      --zone="${K8S_CLUSTER_1_ZONE}" \3      --num-nodes="${K8S_CLUSTER_1_NUMBER_OF_NODES}" \4      --machine-type "${K8S_CLUSTER_1_MACHINE_TYPE}" \5      ${GKE_SPOT_INSTANCES_SWITCH:-""}
```
```
1gcloud container clusters create "${K8S_CLUSTER_2}" \2      --zone="${K8S_CLUSTER_2_ZONE}" \3      --num-nodes="${K8S_CLUSTER_2_NUMBER_OF_NODES}" \4      --machine-type "${K8S_CLUSTER_2_MACHINE_TYPE}" \5      ${GKE_SPOT_INSTANCES_SWITCH:-""}
```
デフォルトの gcloud プロジェクトを設定します。
```
1gcloud config set project "${MDB_GKE_PROJECT}"
```
認証情報を取得し、コンテキストを現在のkubeconfigファイルに保存します。デフォルトでは、このファイルは~/.kube/configディレクトリにあり、 $KUBECONFIG環境変数によって参照されます。
```
1gcloud container clusters get-credentials "${K8S_CLUSTER_0}" --zone="${K8S_CLUSTER_0_ZONE}"2gcloud container clusters get-credentials "${K8S_CLUSTER_1}" --zone="${K8S_CLUSTER_1_ZONE}"3gcloud container clusters get-credentials "${K8S_CLUSTER_2}" --zone="${K8S_CLUSTER_2_ZONE}"
```
すべてのkubectlコマンドは、次の変数を使用してこれらのコンテキストを参照します。
- $K8S_CLUSTER_0_CONTEXT_NAME
- $K8S_CLUSTER_1_CONTEXT_NAME
- $K8S_CLUSTER_2_CONTEXT_NAME
kubectlが Kubernetes クラスターにアクセスできることを確認します。
1echo "Nodes in cluster ${K8S_CLUSTER_0_CONTEXT_NAME}"2kubectl --context "${K8S_CLUSTER_0_CONTEXT_NAME}" get nodes3echo; echo "Nodes in cluster ${K8S_CLUSTER_1_CONTEXT_NAME}"4kubectl --context "${K8S_CLUSTER_1_CONTEXT_NAME}" get nodes5echo; echo "Nodes in cluster ${K8S_CLUSTER_2_CONTEXT_NAME}"6kubectl --context "${K8S_CLUSTER_2_CONTEXT_NAME}" get nodes
1Nodes in cluster gke_scratch-kubernetes-team_europe-central2-a_k8s-mdb-02NAME STATUS ROLES AGE VERSION3gke-k8s-mdb-0-default-pool-267f1e8f-d0dg Ready <none> 38m v1.29.7-gke.11040004gke-k8s-mdb-0-default-pool-267f1e8f-pmgh Ready <none> 38m v1.29.7-gke.11040005gke-k8s-mdb-0-default-pool-267f1e8f-vgj9 Ready <none> 38m v1.29.7-gke.11040006 7Nodes in cluster gke_scratch-kubernetes-team_europe-central2-b_k8s-mdb-18NAME STATUS ROLES AGE VERSION9gke-k8s-mdb-1-default-pool-263d341f-3tbp Ready <none> 38m v1.29.7-gke.110400010gke-k8s-mdb-1-default-pool-263d341f-4f26 Ready <none> 38m v1.29.7-gke.110400011gke-k8s-mdb-1-default-pool-263d341f-z751 Ready <none> 38m v1.29.7-gke.110400012 13Nodes in cluster gke_scratch-kubernetes-team_europe-central2-c_k8s-mdb-214NAME STATUS ROLES AGE VERSION15gke-k8s-mdb-2-default-pool-d0da5fd1-chm1 Ready <none> 38m v1.29.7-gke.1104000
Istio サービスメトリクスをインストールして、クラスター間で DNS 解決とKubernetesクラスター間のネットワーク接続を有効にします。
```
1CTX_CLUSTER1=${K8S_CLUSTER_0_CONTEXT_NAME} \2CTX_CLUSTER2=${K8S_CLUSTER_1_CONTEXT_NAME} \3CTX_CLUSTER3=${K8S_CLUSTER_2_CONTEXT_NAME} \4ISTIO_VERSION="1.20.2" \5../multi-cluster/install_istio_separate_network.sh
```

名前空間を作成します。

注意

Istio でサイドカーインジェクションを有効にするには、次のコマンドを使用して、各ノードクラスターの$OPERATOR_NAMESPACEとmongodb名前空間に istio-injection=enabled ラベルを追加します。別のサービスキャッシュを使用する場合は、作成された名前空間内のネットワークトラフィックを処理するように構成します。

Kubernetes Operator 配置用の$OPERATOR_NAMESPACE環境変数で参照される別の名前空間mongodb-operatorを作成します。
各ノードの Kubernetes クラスターに同じ$OPERATOR_NAMESPACEを作成します。これは、 kubernetl MongoDBプラグインが各ノードクラスターでKubernetes Operator のサービスアカウントを作成するために必要です。 Kubernetes Operator は、オペレータークラスターでこれらのサービスアカウントを使用して、各ノードクラスターで操作を実行します。
```
1kubectl --context "${K8S_CLUSTER_0_CONTEXT_NAME}" create namespace "${OPERATOR_NAMESPACE}"2kubectl --context "${K8S_CLUSTER_0_CONTEXT_NAME}" label namespace "${OPERATOR_NAMESPACE}" istio-injection=enabled --overwrite3
4kubectl --context "${K8S_CLUSTER_1_CONTEXT_NAME}" create namespace "${OPERATOR_NAMESPACE}"5kubectl --context "${K8S_CLUSTER_1_CONTEXT_NAME}" label namespace "${OPERATOR_NAMESPACE}" istio-injection=enabled --overwrite6
7kubectl --context "${K8S_CLUSTER_2_CONTEXT_NAME}" create namespace "${OPERATOR_NAMESPACE}"8kubectl --context "${K8S_CLUSTER_2_CONTEXT_NAME}" label namespace "${OPERATOR_NAMESPACE}" istio-injection=enabled --overwrite
```
中央クラスターとして勤めるノードクラスターを含む各ノードクラスターで、別の個別の名前空間 mongodb を作成します。Kubernetes 演算子は、MongoDB Ops Managerのリソースとコンポーネントにこの名前空間を使用します。
```
1kubectl --context "${K8S_CLUSTER_0_CONTEXT_NAME}" create namespace "${NAMESPACE}"2kubectl --context "${K8S_CLUSTER_0_CONTEXT_NAME}" label namespace "${NAMESPACE}" istio-injection=enabled --overwrite3
4kubectl --context "${K8S_CLUSTER_1_CONTEXT_NAME}" create namespace "${NAMESPACE}"5kubectl --context "${K8S_CLUSTER_1_CONTEXT_NAME}" label namespace "${NAMESPACE}" istio-injection=enabled --overwrite6
7kubectl --context "${K8S_CLUSTER_2_CONTEXT_NAME}" create namespace "${NAMESPACE}"8kubectl --context "${K8S_CLUSTER_2_CONTEXT_NAME}" label namespace "${NAMESPACE}" istio-injection=enabled --overwrite
```

任意。クラスターにプライベートイメージレジストリからシークレットをプルする権限を与えます。

公式の Helm チャートと Quay レジストリのイメージを使用する場合は、この手順は任意です。

1kubectl --context "${K8S_CLUSTER_0_CONTEXT_NAME}" -n "${OPERATOR_NAMESPACE}" create secret generic "image-registries-secret" \2        --from-file=.dockerconfigjson="${HOME}/.docker/config.json" --type=kubernetes.io/dockerconfigjson3kubectl --context "${K8S_CLUSTER_0_CONTEXT_NAME}" -n "${NAMESPACE}" create secret generic "image-registries-secret" \4        --from-file=.dockerconfigjson="${HOME}/.docker/config.json" --type=kubernetes.io/dockerconfigjson5kubectl --context "${K8S_CLUSTER_1_CONTEXT_NAME}" -n "${NAMESPACE}" create secret generic "image-registries-secret" \6        --from-file=.dockerconfigjson="${HOME}/.docker/config.json" --type=kubernetes.io/dockerconfigjson7kubectl --context "${K8S_CLUSTER_2_CONTEXT_NAME}" -n "${NAMESPACE}" create secret generic "image-registries-secret" \8        --from-file=.dockerconfigjson="${HOME}/.docker/config.json" --type=kubernetes.io/dockerconfigjson

任意。クラスターの接続を確認します。

次のオプションのスクリプトは、サービスメトリクスがクロスクラスター DNS の解決と接続を正しく構成されているかどうかを確認します。

次のスクリプトをクラスター0で実行します。

1kubectl apply --context "${K8S_CLUSTER_0_CONTEXT_NAME}" -n "${NAMESPACE}" -f - <<EOF2  apiVersion: apps/v13  kind: StatefulSet4  metadata:5    name: echoserver06  spec:7    replicas: 18    selector:9      matchLabels:10        app: echoserver011    template:12      metadata:13        labels:14          app: echoserver015      spec:16        containers:17          - image: k8s.gcr.io/echoserver:1.1018            imagePullPolicy: Always19            name: echoserver020            ports:21              - containerPort: 808022EOF

次のスクリプトをクラスター1で実行します。

1kubectl apply --context "${K8S_CLUSTER_1_CONTEXT_NAME}" -n "${NAMESPACE}" -f - <<EOF2  apiVersion: apps/v13  kind: StatefulSet4  metadata:5    name: echoserver16  spec:7    replicas: 18    selector:9      matchLabels:10        app: echoserver111    template:12      metadata:13        labels:14          app: echoserver115      spec:16        containers:17          - image: k8s.gcr.io/echoserver:1.1018            imagePullPolicy: Always19            name: echoserver120            ports:21              - containerPort: 808022EOF

次のスクリプトをクラスター2で実行します。

1kubectl apply --context "${K8S_CLUSTER_2_CONTEXT_NAME}" -n "${NAMESPACE}" -f - <<EOF2  apiVersion: apps/v13  kind: StatefulSet4  metadata:5    name: echoserver26  spec:7    replicas: 18    selector:9      matchLabels:10        app: echoserver211    template:12      metadata:13        labels:14          app: echoserver215      spec:16        containers:17          - image: k8s.gcr.io/echoserver:1.1018            imagePullPolicy: Always19            name: echoserver220            ports:21              - containerPort: 808022EOF

Atlas の作成を待つには、次のスクリプトを実行します。
```
1kubectl wait --context "${K8S_CLUSTER_0_CONTEXT_NAME}" -n "${NAMESPACE}" --for=condition=ready pod -l statefulset.kubernetes.io/pod-name=echoserver0-0 --timeout=60s2kubectl wait --context "${K8S_CLUSTER_1_CONTEXT_NAME}" -n "${NAMESPACE}" --for=condition=ready pod -l statefulset.kubernetes.io/pod-name=echoserver1-0 --timeout=60s3kubectl wait --context "${K8S_CLUSTER_2_CONTEXT_NAME}" -n "${NAMESPACE}" --for=condition=ready pod -l statefulset.kubernetes.io/pod-name=echoserver2-0 --timeout=60s
```

クラスター0にポッドサービスを作成します。

1kubectl apply --context "${K8S_CLUSTER_0_CONTEXT_NAME}" -n "${NAMESPACE}" -f - <<EOF2apiVersion: v13kind: Service4metadata:5  name: echoserver0-06spec:7  ports:8    - port: 80809      targetPort: 808010      protocol: TCP11  selector:12    statefulset.kubernetes.io/pod-name: "echoserver0-0"13EOF

クラスター1にポッドサービスを作成します。

1kubectl apply --context "${K8S_CLUSTER_1_CONTEXT_NAME}" -n "${NAMESPACE}" -f - <<EOF2apiVersion: v13kind: Service4metadata:5  name: echoserver1-06spec:7  ports:8    - port: 80809      targetPort: 808010      protocol: TCP11  selector:12    statefulset.kubernetes.io/pod-name: "echoserver1-0"13EOF

クラスター2にポッドサービスを作成します。

1kubectl apply --context "${K8S_CLUSTER_2_CONTEXT_NAME}" -n "${NAMESPACE}" -f - <<EOF2apiVersion: v13kind: Service4metadata:5  name: echoserver2-06spec:7  ports:8    - port: 80809      targetPort: 808010      protocol: TCP11  selector:12    statefulset.kubernetes.io/pod-name: "echoserver2-0"13EOF

クラスター0にラウンドロギングサービスを作成します。
```
1kubectl apply --context "${K8S_CLUSTER_0_CONTEXT_NAME}" -n "${NAMESPACE}" -f - <<EOF2apiVersion: v13kind: Service4metadata:5  name: echoserver6spec:7  ports:8    - port: 80809      targetPort: 808010      protocol: TCP11  selector:12    app: echoserver013EOF
```
クラスター1にラウンドロギングサービスを作成します。
```
1kubectl apply --context "${K8S_CLUSTER_1_CONTEXT_NAME}" -n "${NAMESPACE}" -f - <<EOF2apiVersion: v13kind: Service4metadata:5  name: echoserver6spec:7  ports:8    - port: 80809      targetPort: 808010      protocol: TCP11  selector:12    app: echoserver113EOF
```
クラスター2にラウンドロギングサービスを作成します。
```
1kubectl apply --context "${K8S_CLUSTER_2_CONTEXT_NAME}" -n "${NAMESPACE}" -f - <<EOF2apiVersion: v13kind: Service4metadata:5  name: echoserver6spec:7  ports:8    - port: 80809      targetPort: 808010      protocol: TCP11  selector:12    app: echoserver213EOF
```
クラスター1からポッド0を確認します。
1source_cluster=${K8S_CLUSTER_1_CONTEXT_NAME}2target_pod="echoserver0-0"3source_pod="echoserver1-0"4target_url="http://${target_pod}.${NAMESPACE}.svc.cluster.local:8080"5echo "Checking cross-cluster DNS resolution and connectivity from ${source_pod} in ${source_cluster} to ${target_pod}"6out=$(kubectl exec --context "${source_cluster}" -n "${NAMESPACE}" "${source_pod}" -- \7 /bin/bash -c "curl -v ${target_url}" 2>&1);8grep "Hostname: ${target_pod}" &>/dev/null <<< "${out}" && echo "SUCCESS" || (echo "ERROR: ${out}" && return 1)
1Checking cross-cluster DNS resolution and connectivity from echoserver1-0 in gke_scratch-kubernetes-team_europe-central2-b_k8s-mdb-1 to echoserver0-02SUCCESS
クラスター0からポッド1を確認します。
1source_cluster=${K8S_CLUSTER_0_CONTEXT_NAME}2target_pod="echoserver1-0"3source_pod="echoserver0-0"4target_url="http://${target_pod}.${NAMESPACE}.svc.cluster.local:8080"5echo "Checking cross-cluster DNS resolution and connectivity from ${source_pod} in ${source_cluster} to ${target_pod}"6out=$(kubectl exec --context "${source_cluster}" -n "${NAMESPACE}" "${source_pod}" -- \7 /bin/bash -c "curl -v ${target_url}" 2>&1);8grep "Hostname: ${target_pod}" &>/dev/null <<< "${out}" && echo "SUCCESS" || (echo "ERROR: ${out}" && return 1)
1Checking cross-cluster DNS resolution and connectivity from echoserver0-0 in gke_scratch-kubernetes-team_europe-central2-a_k8s-mdb-0 to echoserver1-02SUCCESS
クラスター2からポッド1を確認します。
1source_cluster=${K8S_CLUSTER_2_CONTEXT_NAME}2target_pod="echoserver1-0"3source_pod="echoserver2-0"4target_url="http://${target_pod}.${NAMESPACE}.svc.cluster.local:8080"5echo "Checking cross-cluster DNS resolution and connectivity from ${source_pod} in ${source_cluster} to ${target_pod}"6out=$(kubectl exec --context "${source_cluster}" -n "${NAMESPACE}" "${source_pod}" -- \7 /bin/bash -c "curl -v ${target_url}" 2>&1);8grep "Hostname: ${target_pod}" &>/dev/null <<< "${out}" && echo "SUCCESS" || (echo "ERROR: ${out}" && return 1)
1Checking cross-cluster DNS resolution and connectivity from echoserver2-0 in gke_scratch-kubernetes-team_europe-central2-c_k8s-mdb-2 to echoserver1-02SUCCESS

クラスター0からポッド2を確認します。
1source_cluster=${K8S_CLUSTER_0_CONTEXT_NAME}2target_pod="echoserver2-0"3source_pod="echoserver0-0"4target_url="http://${target_pod}.${NAMESPACE}.svc.cluster.local:8080"5echo "Checking cross-cluster DNS resolution and connectivity from ${source_pod} in ${source_cluster} to ${target_pod}"6out=$(kubectl exec --context "${source_cluster}" -n "${NAMESPACE}" "${source_pod}" -- \7 /bin/bash -c "curl -v ${target_url}" 2>&1);8grep "Hostname: ${target_pod}" &>/dev/null <<< "${out}" && echo "SUCCESS" || (echo "ERROR: ${out}" && return 1)
1Checking cross-cluster DNS resolution and connectivity from echoserver0-0 in gke_scratch-kubernetes-team_europe-central2-a_k8s-mdb-0 to echoserver2-02SUCCESS
クリーンアップスクリプトを実行します。
```
1kubectl --context "${K8S_CLUSTER_0_CONTEXT_NAME}" -n "${NAMESPACE}" delete statefulset echoserver02kubectl --context "${K8S_CLUSTER_1_CONTEXT_NAME}" -n "${NAMESPACE}" delete statefulset echoserver13kubectl --context "${K8S_CLUSTER_2_CONTEXT_NAME}" -n "${NAMESPACE}" delete statefulset echoserver24kubectl --context "${K8S_CLUSTER_0_CONTEXT_NAME}" -n "${NAMESPACE}" delete service echoserver5kubectl --context "${K8S_CLUSTER_1_CONTEXT_NAME}" -n "${NAMESPACE}" delete service echoserver6kubectl --context "${K8S_CLUSTER_2_CONTEXT_NAME}" -n "${NAMESPACE}" delete service echoserver7kubectl --context "${K8S_CLUSTER_0_CONTEXT_NAME}" -n "${NAMESPACE}" delete service echoserver0-08kubectl --context "${K8S_CLUSTER_1_CONTEXT_NAME}" -n "${NAMESPACE}" delete service echoserver1-09kubectl --context "${K8S_CLUSTER_2_CONTEXT_NAME}" -n "${NAMESPACE}" delete service echoserver2-0
```

マルチクラスター構成を配置します。

このステップでは、 kubectl mongodbプラグインを使用して、Kubernetes Operator が複数の Kubernetes クラスターのワークロードを管理するために必要な Kubernetes クラスター構成を自動化します。

Kubernetes Operator をインストールする前に Kubernetes クラスターを構成するため、マルチ Kubernetes クラスター操作に Kubernetes Operator を配置すると、必要なマルチクラスター構成はすべてすでに配置されています。

概要に記載されているように、 Kubernetes 演算子には、 MongoDB Ops Manager MongoDBデータベースを配置するために使用できる 3 つのノードクラスターの構成があります。最初のクラスターは中央クラスターとしても使用され、Kubernetes 演算子をインストールし、カスタムリソースを配置します。

1kubectl mongodb multicluster setup \2  --central-cluster="${K8S_CLUSTER_0_CONTEXT_NAME}" \3  --member-clusters="${K8S_CLUSTER_0_CONTEXT_NAME},${K8S_CLUSTER_1_CONTEXT_NAME},${K8S_CLUSTER_2_CONTEXT_NAME}" \4  --member-cluster-namespace="${NAMESPACE}" \5  --central-cluster-namespace="${OPERATOR_NAMESPACE}" \6  --create-service-account-secrets \7  --install-database-roles=true \8  --image-pull-secrets=image-registries-secret

1Ensured namespaces exist in all clusters.2creating operator cluster roles in cluster: gke_scratch-kubernetes-team_europe-central2-a_k8s-mdb-03creating member roles in cluster: gke_scratch-kubernetes-team_europe-central2-b_k8s-mdb-14creating member roles in cluster: gke_scratch-kubernetes-team_europe-central2-c_k8s-mdb-25Ensured ServiceAccounts and Roles.6Creating KubeConfig secret mongodb-operator/mongodb-enterprise-operator-multi-cluster-kubeconfig in cluster gke_scratch-kubernetes-team_europe-central2-a_k8s-mdb-07Ensured database Roles in member clusters.8Creating Member list Configmap mongodb-operator/mongodb-kubernetes-operator-member-list in cluster gke_scratch-kubernetes-team_europe-central2-a_k8s-mdb-0

Helm チャートを使用して Kubernetes Operator をインストールします。

MongoDB Helm リポジトリを追加および更新します。ローカル Helm キャッシュが正しい Kubernetes Operator バージョンを参照していることを確認します。
1helm repo add mongodb https://mongodb.github.io/helm-charts2helm repo update mongodb3helm search repo "${OFFICIAL_OPERATOR_HELM_CHART}"
1"mongodb" already exists with the same configuration, skipping2Hang tight while we grab the latest from your chart repositories...3...Successfully got an update from the "mongodb" chart repository4Update Complete. ⎈Happy Helming!⎈5NAME CHART VERSION APP VERSION DESCRIPTION 6mongodb/mongodb-kubernetes 1.0.0 MongoDB Kubernetes Enterprise Operator

Kubernetes Operator を $OPERATOR_NAMESPACE にインストールし、$NAMESPACE を監視し、3 つのノードからなるKubernetesクラスターを管理するように構成します。手順のこの点で、ServiceAccount とロールは kubectl mongodbプラグインによってすでに配置されています。そのため、次のスクリプトでは構成をスキップし、operator.createOperatorServiceAccount=false と operator.createResourcesServiceAccountsAndRoles=false を設定します。スクリプトは multiCluster.clusters 設定を指定して、 Kubernetes Operator をマルチクラスターモードで配置するように Helmチャートに指示します。

1helm upgrade --install \2  --debug \3  --kube-context "${K8S_CLUSTER_0_CONTEXT_NAME}" \4  mongodb-kubernetes-operator-multi-cluster \5  "${OPERATOR_HELM_CHART}" \6  --namespace="${OPERATOR_NAMESPACE}" \7  --set namespace="${OPERATOR_NAMESPACE}" \8  --set operator.namespace="${OPERATOR_NAMESPACE}" \9  --set operator.watchNamespace="${NAMESPACE}" \10  --set operator.name=mongodb-kubernetes-operator-multi-cluster \11  --set operator.createOperatorServiceAccount=false \12  --set operator.createResourcesServiceAccountsAndRoles=false \13  --set "multiCluster.clusters={${K8S_CLUSTER_0_CONTEXT_NAME},${K8S_CLUSTER_1_CONTEXT_NAME},${K8S_CLUSTER_2_CONTEXT_NAME}}" \14  --set "${OPERATOR_ADDITIONAL_HELM_VALUES:-"dummy=value"}"

1Release "mongodb-kubernetes-operator-multi-cluster" does not exist. Installing it now.2name: mongodb-kubernetes-operator-multi-cluster3LAST DEPLOYED: Mon Aug 26 10:55:49 20244NAMESPACE: mongodb-operator5STATUS: deployed6REVISION: 17TEST SUITE: None8USER-SUPPLIED VALUES:9dummy: value10multiCluster:11  clusters:12  - gke_scratch-kubernetes-team_europe-central2-a_k8s-mdb-013  - gke_scratch-kubernetes-team_europe-central2-b_k8s-mdb-114  - gke_scratch-kubernetes-team_europe-central2-c_k8s-mdb-215namespace: mongodb-operator16operator:17  createOperatorServiceAccount: false18  createResourcesServiceAccountsAndRoles: false19  name: mongodb-kubernetes-operator-multi-cluster20  namespace: mongodb-operator21  watchNamespace: mongodb22
23COMPUTED VALUES:24agent:25  name: mongodb-agent26  version: 107.0.0.8502-127database:28  name: mongodb-kubernetes-database29  version: 1.27.030dummy: value31initAppDb:32  name: mongodb-kubernetes-init-appdb33  version: 1.27.034initDatabase:35  name: mongodb-kubernetes-init-database36  version: 1.27.037initOpsManager:38  name: mongodb-kubernetes-init-ops-manager39  version: 1.27.040managedSecurityContext: false41mongodb:42  appdbAssumeOldFormat: false43  imageType: ubi844  name: mongodb-enterprise-server45  repo: quay.io/mongodb46mongodbLegacyAppDb:47  name: mongodb-kubernetes-appdb-database-ubi48  repo: quay.io/mongodb49multiCluster:50  clusterClientTimeout: 1051  clusters:52  - gke_scratch-kubernetes-team_europe-central2-a_k8s-mdb-053  - gke_scratch-kubernetes-team_europe-central2-b_k8s-mdb-154  - gke_scratch-kubernetes-team_europe-central2-c_k8s-mdb-255  kubeConfigSecretname: mongodb-enterprise-operator-multi-cluster-kubeconfig56  performFailOver: true57namespace: mongodb-operator58operator:59  additionalArguments: []60  affinity: {}61  createOperatorServiceAccount: false62  createResourcesServiceAccountsAndRoles: false63  deployment_name: mongodb-kubernetes-operator64  env: prod65  maxConcurrentReconciles: 166  mdbDefaultArchitecture: non-static67  name: mongodb-kubernetes-operator-multi-cluster68  namespace: mongodb-operator69  nodeSelector: {}70  operator_image_name: mongodb-kubernetes-operator71  replicas: 172  resources:73    limits:74      cpu: 1100m75      memory: 1Gi76    requests:77      cpu: 500m78      memory: 200Mi79  tolerations: []80  vaultSecretBackend:81    enabled: false82    tlsSecretRef: ""83  version: 1.27.084  watchNamespace: mongodb85  watchedResources:86  - mongodb87  - opsmanagers88  - mongodbusers89  webhook:90    installClusterRole: true91    registerConfiguration: true92opsManager:93  name: mongodb-enterprise-ops-manager-ubi94registry:95  agent: quay.io/mongodb96  appDb: quay.io/mongodb97  database: quay.io/mongodb98  imagePullSecrets: null99  initAppDb: quay.io/mongodb100  initDatabase: quay.io/mongodb101  initOpsManager: quay.io/mongodb102  operator: quay.io/mongodb103  opsManager: quay.io/mongodb104  pullPolicy: Always105subresourceEnabled: true106
107HOOKS:108MANIFEST:109---110kind: ClusterRole111apiVersion: rbac.authorization.k8s.io/v1112metadata:113  name: mongodb-kubernetes-operator-mongodb-webhook114rules:115  - apiGroups:116      - "admissionregistration.k8s.io"117    resources:118      - validatingwebhookconfigurations119    verbs:120      - get121      - create122      - update123      - delete124  - apiGroups:125      - ""126    resources:127      - services128    verbs:129      - get130      - list131      - watch132      - create133      - update134      - delete135---136kind: ClusterRoleBinding137apiVersion: rbac.authorization.k8s.io/v1138metadata:139  name: mongodb-kubernetes-operator-multi-cluster-mongodb-operator-webhook-binding140roleRef:141  apiGroup: rbac.authorization.k8s.io142  kind: ClusterRole143  name: mongodb-kubernetes-operator-mongodb-webhook144subjects:145  - kind: ServiceAccount146    name: mongodb-kubernetes-operator-multi-cluster147    namespace: mongodb-operator148---149apiVersion: apps/v1150kind: Deployment151metadata:152  name: mongodb-kubernetes-operator-multi-cluster153  namespace: mongodb-operator154spec:155  replicas: 1156  selector:157    matchLabels:158      app.kubernetes.io/component: controller159      app.kubernetes.io/name: mongodb-kubernetes-operator-multi-cluster160      app.kubernetes.io/instance: mongodb-kubernetes-operator-multi-cluster161  template:162    metadata:163      labels:164        app.kubernetes.io/component: controller165        app.kubernetes.io/name: mongodb-kubernetes-operator-multi-cluster166        app.kubernetes.io/instance: mongodb-kubernetes-operator-multi-cluster167    spec:168      serviceAccountName: mongodb-kubernetes-operator-multi-cluster169      securityContext:170        runAsNonRoot: true171        runAsUser: 2000172      containers:173        - name: mongodb-kubernetes-operator-multi-cluster174          image: "quay.io/mongodb/mongodb-kubernetes-operator:1.27.0"175          imagePullPolicy: Always176          args:177            - -watch-resource=mongodb178            - -watch-resource=opsmanagers179            - -watch-resource=mongodbusers180            - -watch-resource=mongodbmulticluster181          command:182            - /usr/local/bin/mongodb-kubernetes-operator183          volumeMounts:184            - mountPath: /etc/config/kubeconfig185              name: kube-config-volume186          resources:187            limits:188              cpu: 1100m189              memory: 1Gi190            requests:191              cpu: 500m192              memory: 200Mi193          env:194            - name: OPERATOR_ENV195              value: prod196            - name: MDB_DEFAULT_ARCHITECTURE197              value: non-static198            - name: WATCH_NAMESPACE199              value: "mongodb"200            - name: NAMESPACE201              valueFrom:202                fieldRef:203                  fieldPath: metadata.namespace204            - name: CLUSTER_CLIENT_TIMEOUT205              value: "10"206            - name: IMAGE_PULL_POLICY207              value: Always208            # Database209            - name: MONGODB_ENTERPRISE_DATABASE_IMAGE210              value: quay.io/mongodb/mongodb-kubernetes-database211            - name: INIT_DATABASE_IMAGE_REPOSITORY212              value: quay.io/mongodb/mongodb-kubernetes-init-database213            - name: INIT_DATABASE_VERSION214              value: 1.27.0215            - name: DATABASE_VERSION216              value: 1.27.0217            # Ops Manager218            - name: OPS_MANAGER_IMAGE_REPOSITORY219              value: quay.io/mongodb/mongodb-enterprise-ops-manager-ubi220            - name: INIT_OPS_MANAGER_IMAGE_REPOSITORY221              value: quay.io/mongodb/mongodb-kubernetes-init-ops-manager222            - name: INIT_OPS_MANAGER_VERSION223              value: 1.27.0224            # AppDB225            - name: INIT_APPDB_IMAGE_REPOSITORY226              value: quay.io/mongodb/mongodb-kubernetes-init-appdb227            - name: INIT_APPDB_VERSION228              value: 1.27.0229            - name: OPS_MANAGER_IMAGE_PULL_POLICY230              value: Always231            - name: AGENT_IMAGE232              value: "quay.io/mongodb/mongodb-agent:107.0.0.8502-1"233            - name: MDB_AGENT_IMAGE_REPOSITORY234              value: "quay.io/mongodb/mongodb-agent"235            - name: MONGODB_IMAGE236              value: mongodb-enterprise-server237            - name: MONGODB_REPO_URL238              value: quay.io/mongodb239            - name: MDB_IMAGE_TYPE240              value: ubi8241            - name: PERFORM_FAILOVER242              value: 'true'243            - name: MDB_MAX_CONCURRENT_RECONCILES244              value: "1"245      volumes:246        - name: kube-config-volume247          secret:248            defaultMode: 420249            secretname: mongodb-enterprise-operator-multi-cluster-kubeconfig

Kubernetes Operator の配置を確認します。
1kubectl --context "${K8S_CLUSTER_0_CONTEXT_NAME}" -n "${OPERATOR_NAMESPACE}" rollout status deployment/mongodb-kubernetes-operator-multi-cluster2echo "Operator deployment in ${OPERATOR_NAMESPACE} namespace"3kubectl --context "${K8S_CLUSTER_0_CONTEXT_NAME}" -n "${OPERATOR_NAMESPACE}" get deployments4echo; echo "Operator pod in ${OPERATOR_NAMESPACE} namespace"5kubectl --context "${K8S_CLUSTER_0_CONTEXT_NAME}" -n "${OPERATOR_NAMESPACE}" get pods
1Waiting for deployment "mongodb-kubernetes-operator-multi-cluster" rollout to finish: 0 of 1 updated replicas are available...2deployment "mongodb-kubernetes-operator-multi-cluster" successfully rolled out3Operator deployment in mongodb-operator namespace4NAME READY UP-TO-DATE AVAILABLE AGE5mongodb-kubernetes-operator-multi-cluster 1/1 1 1 10s6 7Operator pod in mongodb-operator namespace8NAME READY STATUS RESTARTS AGE9mongodb-kubernetes-operator-multi-cluster-54d786b796-7l5ct 2/2 Running 1 (4s ago) 10s

TLS 証明書を準備します。

このステップでは、アプリケーションデータベースと MongoDB Ops Manager アプリケーションに対して TLS を有効化します。TLS を使用したくない場合は、MongoDBOpsManager リソースから次のフィールドを除きます。

任意。キーと証明書を生成します。
opensslコマンドラインツールを使用して、テスト目的の自己署名 CA と証明書を生成します。
```
1mkdir certs || true2
3cat <<EOF >certs/ca.cnf4[ req ]5default_bits       = 20486prompt             = no7default_md         = sha2568distinguished_name = dn9x509_extensions    = v3_ca10
11[ dn ]12C=US13ST=New York14L=New York15O=Example Company16OU=IT Department17CN=exampleCA18
19[ v3_ca ]20basicConstraints = CA:TRUE21keyUsage = critical, keyCertSign, cRLSign22subjectKeyIdentifier = hash23authorityKeyIdentifier = keyid:always,issuer24EOF25
26cat <<EOF >certs/om.cnf27[ req ]28default_bits       = 204829prompt             = no30default_md         = sha25631distinguished_name = dn32req_extensions     = req_ext33
34[ dn ]35C=US36ST=New York37L=New York38O=Example Company39OU=IT Department40CN=${OPS_MANAGER_EXTERNAL_DOMAIN}41
42[ req_ext ]43subjectAltName = @alt_names44keyUsage = critical, digitalSignature, keyEncipherment45extendedKeyUsage = serverAuth, clientAuth46
47[ alt_names ]48DNS.1 = ${OPS_MANAGER_EXTERNAL_DOMAIN}49DNS.2 = om-svc.${NAMESPACE}.svc.cluster.local50EOF51
52cat <<EOF >certs/appdb.cnf53[ req ]54default_bits       = 204855prompt             = no56default_md         = sha25657distinguished_name = dn58req_extensions     = req_ext59
60[ dn ]61C=US62ST=New York63L=New York64O=Example Company65OU=IT Department66CN=AppDB67
68[ req_ext ]69subjectAltName = @alt_names70keyUsage = critical, digitalSignature, keyEncipherment71extendedKeyUsage = serverAuth, clientAuth72
73[ alt_names ]74# multi-cluster mongod hostnames from service for each pod75DNS.1 = *.${NAMESPACE}.svc.cluster.local76# single-cluster mongod hostnames from headless service77DNS.2 = *.om-db-svc.${NAMESPACE}.svc.cluster.local78EOF79
80# generate CA keypair and certificate81openssl genrsa -out certs/ca.key 204882openssl req -x509 -new -nodes -key certs/ca.key -days 1024 -out certs/ca.crt -config certs/ca.cnf83
84# generate OpsManager's keypair and certificate85openssl genrsa -out certs/om.key 204886openssl req -new -key certs/om.key -out certs/om.csr -config certs/om.cnf87
88# generate AppDB's keypair and certificate89openssl genrsa -out certs/appdb.key 204890openssl req -new -key certs/appdb.key -out certs/appdb.csr -config certs/appdb.cnf91
92# generate certificates signed by CA for OpsManager and AppDB93openssl x509 -req -in certs/om.csr -CA certs/ca.crt -CAkey certs/ca.key -CAcreateserial -out certs/om.crt -days 365 -sha256 -extfile certs/om.cnf -extensions req_ext94openssl x509 -req -in certs/appdb.csr -CA certs/ca.crt -CAkey certs/ca.key -CAcreateserial -out certs/appdb.crt -days 365 -sha256 -extfile certs/appdb.cnf -extensions req_ext
```
TLS キーを使用してシークレットを作成する
独自のキーと証明書を使用する場合は、前の生成ステップをスキップし、キーと証明書を次のファイルに配置します。
- certs/ca.crt - CA証明書。信頼できる証明書を使用する場合は、これらは必要ありません。
- certs/appdb.key - アプリケーションデータベースの秘密キー。
- certs/appdb.crt アプリケーションデータベースの - 証明書。
- certs/om.key - MongoDB Ops Manager の秘密キー。
- certs/om.crt MongoDB Ops Manager の - 証明書。
```
1kubectl --context "${K8S_CLUSTER_0_CONTEXT_NAME}" -n "${NAMESPACE}" create secret tls cert-prefix-om-cert \2  --cert=certs/om.crt \3  --key=certs/om.key4
5kubectl --context "${K8S_CLUSTER_0_CONTEXT_NAME}" -n "${NAMESPACE}" create secret tls cert-prefix-om-db-cert \6  --cert=certs/appdb.crt \7  --key=certs/appdb.key8
9kubectl --context "${K8S_CLUSTER_0_CONTEXT_NAME}" -n "${NAMESPACE}" create configmap om-cert-ca --from-file="mms-ca.crt=certs/ca.crt"10kubectl --context "${K8S_CLUSTER_0_CONTEXT_NAME}" -n "${NAMESPACE}" create configmap appdb-cert-ca --from-file="ca-pem=certs/ca.crt"
```

MongoDB Ops Managerをインストールします。

この時点で、リソースを配置するための環境とKubernetes OperatorMongoDB Ops Manager を準備しました。

MongoDB Ops Manager管理ユーザーに必要な認証情報を作成します。この認証情報はKubernetes MongoDB Ops Managerアプリケーションインスタンスの配置後に作成されます。
```
1kubectl --context "${K8S_CLUSTER_0_CONTEXT_NAME}" --namespace "${NAMESPACE}" create secret generic om-admin-user-credentials \2  --from-literal=Username="admin" \3  --from-literal=Password="Passw0rd@" \4  --from-literal=FirstName="Jane" \5  --from-literal=LastName="Doe"
```
可能な場合は最も単純なMongoDBOpsManagerカスタムリソース（ TLSが有効）を単一ノードクラスターに配置します。これは中央クラスターとも呼ばれます。
この配置は単一クラスターモードとほぼ同じですが、 spec.topologyとspec.applicationDatabase.topologyがMultiClusterに設定されています。
この方法で配置すると、単一の Kubernetes クラスターの配置が、単一の Kubernetes ノードクラスターへの複数の Kubernetes クラスター配置の特殊なケースであることがわかります。 MongoDB Ops Managerアプリケーションとアプリケーションデータベースは、最初から必要な数のKubernetesクラスターに最初から配置を開始できますKubernetesクラスターが 1 つだけの配置で開始する必要はありません。
この時点で、複数のMongoDB Ops Manager Kubernetesクラスターにまたがるようにの配置を準備しました。これはこの手順の後半で行います。
```
1kubectl apply --context "${K8S_CLUSTER_0_CONTEXT_NAME}" -n "${NAMESPACE}" -f - <<EOF2apiVersion: mongodb.com/v13kind: MongoDBOpsManager4metadata:5  name: om6spec:7  topology: MultiCluster8  version: "${OPS_MANAGER_VERSION}"9  adminCredentials: om-admin-user-credentials10  security:11    certsSecretPrefix: cert-prefix12    tls:13      ca: om-cert-ca14  clusterSpecList:15    - clusterName: "${K8S_CLUSTER_0_CONTEXT_NAME}"16      members: 117  applicationDatabase:18    version: "${APPDB_VERSION}"19    topology: MultiCluster20    security:21      certsSecretPrefix: cert-prefix22      tls:23        ca: appdb-cert-ca24    clusterSpecList:25      - clusterName: "${K8S_CLUSTER_0_CONTEXT_NAME}"26        members: 327  backup:28    enabled: false29EOF
```
Kubernetes Operator が作業を選択し、 status.applicationDatabase.phase=Pending状態に達するまで待ちます。アプリケーションデータベースとMongoDB Ops Managerの両方の配置が完了するまで待機します。
1echo "Waiting for Application Database to reach Pending phase..."2kubectl --context "${K8S_CLUSTER_0_CONTEXT_NAME}" -n "${NAMESPACE}" wait --for=jsonpath='{.status.applicationDatabase.phase}'=Pending opsmanager/om --timeout=30s
1Waiting for Application Database to reach Pending phase...2mongodbopsmanager.mongodb.com/om condition met
MongoDB Ops Managerを配置します。 Kubernetes Operator は、次の手順を実行してMongoDB Ops Managerを配置します。以下の条件に一致するもの。
- アプリケーションデータベースのレプリカセットノードを配置し、レプリカセット内の MongoDB プロセスが実行を開始するのを待ちます。
- アプリケーションMongoDB Ops Manager データベースの接続を使用してアプリケーションstring インスタンスを配置し、それが準備されるのを待ちます。
- 監視 MongoDB Agent コンテナを各アプリケーションデータベースのポッドに追加します。
- MongoDB Ops Managerアプリケーションとアプリケーションデータベースポッドの両方が実行を開始するのを待ちます。
1echo "Waiting for Application Database to reach Running phase..."2kubectl --context "${K8S_CLUSTER_0_CONTEXT_NAME}" -n "${NAMESPACE}" wait --for=jsonpath='{.status.applicationDatabase.phase}'=Running opsmanager/om --timeout=900s3echo; echo "Waiting for Ops Manager to reach Running phase..."4kubectl --context "${K8S_CLUSTER_0_CONTEXT_NAME}" -n "${NAMESPACE}" wait --for=jsonpath='{.status.opsManager.phase}'=Running opsmanager/om --timeout=900s5echo; echo "Waiting for Application Database to reach Pending phase (enabling monitoring)..."6kubectl --context "${K8S_CLUSTER_0_CONTEXT_NAME}" -n "${NAMESPACE}" wait --for=jsonpath='{.status.applicationDatabase.phase}'=Running opsmanager/om --timeout=900s7echo "Waiting for Application Database to reach Running phase..."8kubectl --context "${K8S_CLUSTER_0_CONTEXT_NAME}" -n "${NAMESPACE}" wait --for=jsonpath='{.status.applicationDatabase.phase}'=Running opsmanager/om --timeout=900s9echo; echo "Waiting for Ops Manager to reach Running phase..."10kubectl --context "${K8S_CLUSTER_0_CONTEXT_NAME}" -n "${NAMESPACE}" wait --for=jsonpath='{.status.opsManager.phase}'=Running opsmanager/om --timeout=900s11echo; echo "MongoDBOpsManager resource"12kubectl --context "${K8S_CLUSTER_0_CONTEXT_NAME}" -n "${NAMESPACE}" get opsmanager/om13echo; echo "Pods running in cluster ${K8S_CLUSTER_0_CONTEXT_NAME}"14kubectl --context "${K8S_CLUSTER_0_CONTEXT_NAME}" -n "${NAMESPACE}" get pods15echo; echo "Pods running in cluster ${K8S_CLUSTER_1_CONTEXT_NAME}"16kubectl --context "${K8S_CLUSTER_1_CONTEXT_NAME}" -n "${NAMESPACE}" get pods
1Waiting for Application Database to reach Running phase...2mongodbopsmanager.mongodb.com/om condition met3 4Waiting for Ops Manager to reach Running phase...5mongodbopsmanager.mongodb.com/om condition met6 7Waiting for Application Database to reach Pending phase (enabling monitoring)...8mongodbopsmanager.mongodb.com/om condition met9Waiting for Application Database to reach Running phase...10mongodbopsmanager.mongodb.com/om condition met11 12Waiting for Ops Manager to reach Running phase...13mongodbopsmanager.mongodb.com/om condition met14 15MongoDBOpsManager resource16NAME REPLICAS VERSION STATE (OPSMANAGER) STATE (APPDB) STATE (BACKUP) AGE WARNINGS17om 7.0.4 Running Running Disabled 13m 18 19Pods running in cluster gke_scratch-kubernetes-team_europe-central2-a_k8s-mdb-020NAME READY STATUS RESTARTS AGE21om-0-0 2/2 Running 0 10m22om-db-0-0 4/4 Running 0 69s23om-db-0-1 4/4 Running 0 2m12s24om-db-0-2 4/4 Running 0 3m32s25 26Pods running in cluster gke_scratch-kubernetes-team_europe-central2-b_k8s-mdb-1
単一ノードクラスターをマルチクラスターモードで配置したので、この配置を複数の Kubernetes クラスターにまたがるように再構成できます。

2 番目のノードクラスターで、2 つの追加のアプリケーションデータベースレプリカセットノードと 1 つの MongoDB Ops Manager アプリケーションの追加のインスタンスを配置します。

1kubectl apply --context "${K8S_CLUSTER_0_CONTEXT_NAME}" -n "${NAMESPACE}" -f - <<EOF2apiVersion: mongodb.com/v13kind: MongoDBOpsManager4metadata:5  name: om6spec:7  topology: MultiCluster8  version: "${OPS_MANAGER_VERSION}"9  adminCredentials: om-admin-user-credentials10  security:11    certsSecretPrefix: cert-prefix12    tls:13      ca: om-cert-ca14  clusterSpecList:15    - clusterName: "${K8S_CLUSTER_0_CONTEXT_NAME}"16      members: 117    - clusterName: "${K8S_CLUSTER_1_CONTEXT_NAME}"18      members: 119  applicationDatabase:20    version: "${APPDB_VERSION}"21    topology: MultiCluster22    security:23      certsSecretPrefix: cert-prefix24      tls:25        ca: appdb-cert-ca26    clusterSpecList:27      - clusterName: "${K8S_CLUSTER_0_CONTEXT_NAME}"28        members: 329      - clusterName: "${K8S_CLUSTER_1_CONTEXT_NAME}"30        members: 231  backup:32    enabled: false33EOF

Kubernetes Operator が作業を選択するまで待ちます（保留中フェーズ）。
1echo "Waiting for Application Database to reach Pending phase..."2kubectl --context "${K8S_CLUSTER_0_CONTEXT_NAME}" -n "${NAMESPACE}" wait --for=jsonpath='{.status.applicationDatabase.phase}'=Pending opsmanager/om --timeout=30s
1Waiting for Application Database to reach Pending phase...2mongodbopsmanager.mongodb.com/om condition met
Kubernetes Operator がすべてのコンポーネントの配置を完了するまで待ちます。
1echo "Waiting for Application Database to reach Running phase..."2kubectl --context "${K8S_CLUSTER_0_CONTEXT_NAME}" -n "${NAMESPACE}" wait --for=jsonpath='{.status.applicationDatabase.phase}'=Running opsmanager/om --timeout=600s3echo; echo "Waiting for Ops Manager to reach Running phase..."4kubectl --context "${K8S_CLUSTER_0_CONTEXT_NAME}" -n "${NAMESPACE}" wait --for=jsonpath='{.status.opsManager.phase}'=Running opsmanager/om --timeout=600s5echo; echo "MongoDBOpsManager resource"6kubectl --context "${K8S_CLUSTER_0_CONTEXT_NAME}" -n "${NAMESPACE}" get opsmanager/om7echo; echo "Pods running in cluster ${K8S_CLUSTER_0_CONTEXT_NAME}"8kubectl --context "${K8S_CLUSTER_0_CONTEXT_NAME}" -n "${NAMESPACE}" get pods9echo; echo "Pods running in cluster ${K8S_CLUSTER_1_CONTEXT_NAME}"10kubectl --context "${K8S_CLUSTER_1_CONTEXT_NAME}" -n "${NAMESPACE}" get pods
1Waiting for Application Database to reach Running phase...2mongodbopsmanager.mongodb.com/om condition met3 4Waiting for Ops Manager to reach Running phase...5mongodbopsmanager.mongodb.com/om condition met6 7MongoDBOpsManager resource8NAME REPLICAS VERSION STATE (OPSMANAGER) STATE (APPDB) STATE (BACKUP) AGE WARNINGS9om 7.0.4 Running Running Disabled 20m 10 11Pods running in cluster gke_scratch-kubernetes-team_europe-central2-a_k8s-mdb-012NAME READY STATUS RESTARTS AGE13om-0-0 2/2 Running 0 2m56s14om-db-0-0 4/4 Running 0 7m48s15om-db-0-1 4/4 Running 0 8m51s16om-db-0-2 4/4 Running 0 10m17 18Pods running in cluster gke_scratch-kubernetes-team_europe-central2-b_k8s-mdb-119NAME READY STATUS RESTARTS AGE20om-1-0 2/2 Running 0 3m27s21om-db-1-0 4/4 Running 0 6m32s22om-db-1-1 4/4 Running 0 5m5s

バックアップを有効にします。

MongoDB Ops Managerアプリケーションのマルチ Kubernetes クラスター配置では、 S3ベースのバックアップストレージのみを構成できます。この手順では、 env_variables.shで定義されたS3_*を参照します。

任意。MinIO 演算子をインストールします。
この手順では、S3 互換ストレージをMinIO 演算子を使用して、バックアップ用に配置します。Amazon Web Services S3 またはその他の S3 互換バケットが利用可能な場合は、このステップをスキップできます。その場合は、env_variables.sh の S3_* 変数を適宜調整してください。
```
1kubectl kustomize "github.com/minio/operator/resources/?timeout=120&ref=v5.0.12" | \2  kubectl --context "${K8S_CLUSTER_0_CONTEXT_NAME}" apply -f -3
4kubectl kustomize "github.com/minio/operator/examples/kustomization/tenant-tiny?timeout=120&ref=v5.0.12" | \5  kubectl --context "${K8S_CLUSTER_0_CONTEXT_NAME}" apply -f -6
7# add two buckets to the tenant config8kubectl --context "${K8S_CLUSTER_0_CONTEXT_NAME}" -n "tenant-tiny" patch tenant/myminio \9  --type='json' \10  -p="[{\"op\": \"add\", \"path\": \"/spec/buckets\", \"value\": [{\"name\": \"${S3_OPLOG_BUCKET_NAME}\"}, {\"name\": \"${S3_SNAPSHOT_BUCKET_NAME}\"}]}]"
```
バックアップを構成して有効にする前に、シークレットを作成します。
- s3-access-secret - S3 認証情報を含む。
- s3-ca-cert - バケットのサーバー証明書を発行したCA証明書が含まれています。この手順で使用されているサンプル MongoDB Ops 配置の場合、デフォルトの Kubernetes ルートCA証明書が証明書の署名に使用されます。パブリックに信頼されているCA証明書ではないため、 MongoDB Ops Managerが接続を信頼できるようにするために、これを提供する必要があります。
一般に信頼されている証明書を使用している場合は、この手順をスキップして、 spec.backup.s3Stores.customCertificateSecretRefsとspec.backup.s3OpLogStores.customCertificateSecretRefsの設定から値を削除できます。
```
1kubectl --context "${K8S_CLUSTER_0_CONTEXT_NAME}" -n "${NAMESPACE}" create secret generic s3-access-secret \2  --from-literal=accessKey="${S3_ACCESS_KEY}" \3  --from-literal=secretKey="${S3_SECRET_KEY}"4
5# minio TLS secrets are signed with the default k8s root CA6kubectl --context "${K8S_CLUSTER_0_CONTEXT_NAME}" -n "${NAMESPACE}" create secret generic s3-ca-cert \7  --from-literal=ca.crt="$(kubectl --context "${K8S_CLUSTER_0_CONTEXT_NAME}" -n kube-system get configmap kube-root-ca.crt -o jsonpath="{.data.ca\.crt}")"
```

バックアップが有効になっているMongoDB Ops Managerを再配置します。

Kubernetes Operator は、すべてのコンポーネント、 MongoDB Ops Managerアプリケーション、バックアップデーモンインスタンス、およびアプリケーションデータベースのレプリカセットノードを、 Kubernetes Operator を構成する任意のノードクラスター上の任意の組み合わせで構成して配置できます。

マルチ Kubernetes クラスターの配置構成の柔軟性を示すには、3 番目のノードクラスターに 1 つのバックアップデーモンインスタンスのみを配置し、1 番目と 2 番目のクラスターに対して 0 個のバックアップデーモンノードを指定します。

1kubectl apply --context "${K8S_CLUSTER_0_CONTEXT_NAME}" -n "${NAMESPACE}" -f - <<EOF2apiVersion: mongodb.com/v13kind: MongoDBOpsManager4metadata:5  name: om6spec:7  topology: MultiCluster8  version: "${OPS_MANAGER_VERSION}"9  adminCredentials: om-admin-user-credentials10  security:11    certsSecretPrefix: cert-prefix12    tls:13      ca: om-cert-ca14  clusterSpecList:15    - clusterName: "${K8S_CLUSTER_0_CONTEXT_NAME}"16      members: 117      backup:18        members: 019    - clusterName: "${K8S_CLUSTER_1_CONTEXT_NAME}"20      members: 121      backup:22        members: 023    - clusterName: "${K8S_CLUSTER_2_CONTEXT_NAME}"24      members: 025      backup:26        members: 127  configuration: # to avoid configuration wizard on first login28      mms.adminEmailAddr: email@example.com29      mms.fromEmailAddr: email@example.com30      mms.ignoreInitialUiSetup: "true"31      mms.mail.hostname: smtp@example.com32      mms.mail.port: "465"33      mms.mail.ssl: "true"34      mms.mail.transport: smtp35      mms.minimumTLSVersion: TLSv1.236      mms.replyToEmailAddr: email@example.com37  applicationDatabase:38    version: "${APPDB_VERSION}"39    topology: MultiCluster40    security:41      certsSecretPrefix: cert-prefix42      tls:43        ca: appdb-cert-ca44    clusterSpecList:45      - clusterName: "${K8S_CLUSTER_0_CONTEXT_NAME}"46        members: 347      - clusterName: "${K8S_CLUSTER_1_CONTEXT_NAME}"48        members: 249  backup:50    enabled: true51    s3Stores:52      - name: my-s3-block-store53        s3SecretRef:54          name: "s3-access-secret"55        pathStyleAccessEnabled: true56        s3BucketEndpoint: "${S3_ENDPOINT}"57        s3BucketName: "${S3_SNAPSHOT_BUCKET_NAME}"58        customCertificateSecretRefs:59          - name: s3-ca-cert60            key: ca.crt61    s3OpLogStores:62      - name: my-s3-oplog-store63        s3SecretRef:64          name: "s3-access-secret"65        s3BucketEndpoint: "${S3_ENDPOINT}"66        s3BucketName: "${S3_OPLOG_BUCKET_NAME}"67        pathStyleAccessEnabled: true68        customCertificateSecretRefs:69          - name: s3-ca-cert70            key: ca.crt71EOF

Kubernetes Operator が構成を完了するまで待ちます。

1echo; echo "Waiting for Backup to reach Running phase..."2kubectl --context "${K8S_CLUSTER_0_CONTEXT_NAME}" -n "${NAMESPACE}" wait --for=jsonpath='{.status.backup.phase}'=Running opsmanager/om --timeout=1200s3echo "Waiting for Application Database to reach Running phase..."4kubectl --context "${K8S_CLUSTER_0_CONTEXT_NAME}" -n "${NAMESPACE}" wait --for=jsonpath='{.status.applicationDatabase.phase}'=Running opsmanager/om --timeout=600s5echo; echo "Waiting for Ops Manager to reach Running phase..."6kubectl --context "${K8S_CLUSTER_0_CONTEXT_NAME}" -n "${NAMESPACE}" wait --for=jsonpath='{.status.opsManager.phase}'=Running opsmanager/om --timeout=600s7echo; echo "MongoDBOpsManager resource"8kubectl --context "${K8S_CLUSTER_0_CONTEXT_NAME}" -n "${NAMESPACE}" get opsmanager/om9echo; echo "Pods running in cluster ${K8S_CLUSTER_0_CONTEXT_NAME}"10kubectl --context "${K8S_CLUSTER_0_CONTEXT_NAME}" -n "${NAMESPACE}" get pods11echo; echo "Pods running in cluster ${K8S_CLUSTER_1_CONTEXT_NAME}"12kubectl --context "${K8S_CLUSTER_1_CONTEXT_NAME}" -n "${NAMESPACE}" get pods13echo; echo "Pods running in cluster ${K8S_CLUSTER_2_CONTEXT_NAME}"14kubectl --context "${K8S_CLUSTER_2_CONTEXT_NAME}" -n "${NAMESPACE}" get pods

1Waiting for Backup to reach Running phase...2mongodbopsmanager.mongodb.com/om condition met3Waiting for Application Database to reach Running phase...4mongodbopsmanager.mongodb.com/om condition met5
6Waiting for Ops Manager to reach Running phase...7mongodbopsmanager.mongodb.com/om condition met8
9MongoDBOpsManager resource10NAME   REPLICAS   VERSION   STATE (OPSMANAGER)   STATE (APPDB)   STATE (BACKUP)   AGE   WARNINGS11om                7.0.4     Running              Running         Running          26m   12
13Pods running in cluster gke_scratch-kubernetes-team_europe-central2-a_k8s-mdb-014NAME        READY   STATUS    RESTARTS   AGE15om-0-0      2/2     Running   0          5m11s16om-db-0-0   4/4     Running   0          13m17om-db-0-1   4/4     Running   0          14m18om-db-0-2   4/4     Running   0          16m19
20Pods running in cluster gke_scratch-kubernetes-team_europe-central2-b_k8s-mdb-121NAME        READY   STATUS    RESTARTS   AGE22om-1-0      2/2     Running   0          5m12s23om-db-1-0   4/4     Running   0          12m24om-db-1-1   4/4     Running   0          11m25
26Pods running in cluster gke_scratch-kubernetes-team_europe-central2-c_k8s-mdb-227NAME                   READY   STATUS    RESTARTS   AGE28om-2-backup-daemon-0   2/2     Running   0          3m8s

任意。GKE（Google Kubernetes エンジン）クラスターとそれに関連するすべてのリソース（VM）を削除します。

次のスクリプトを実行して、GKE クラスターを削除し、環境をクリーンアップします。

重要

次のコマンドは、元に戻すことができません。 env_variables.shで参照されているすべてのクラスターを削除します。この手順の一部として GKE クラスターを作成しなかった場合など、GKE クラスターを保持する場合は、これらのコマンドを実行しないでください。

1yes | gcloud container clusters delete "${K8S_CLUSTER_0}" --zone="${K8S_CLUSTER_0_ZONE}" &2yes | gcloud container clusters delete "${K8S_CLUSTER_1}" --zone="${K8S_CLUSTER_1_ZONE}" &3yes | gcloud container clusters delete "${K8S_CLUSTER_2}" --zone="${K8S_CLUSTER_2_ZONE}" &4wait

複数のMongoDB Ops Manager Kubernetesクラスターでの リソースの配置