여러 Kubernetes 클러스터에 MongoDB Ops Manager 리소스 배포

Kubernetes 클러스터를 생성합니다.

서비스 메시를 사용하여 자체 Kubernetes 클러스터를 이미 설치 및 구성한 경우 이 단계를 건너뛸 수 있습니다.

1. 3개의 GKE(Google Kubernetes Engine) 클러스터를 만듭니다.

   1gcloud container clusters create "${K8S_CLUSTER_0}" \2      --zone="${K8S_CLUSTER_0_ZONE}" \3      --num-nodes="${K8S_CLUSTER_0_NUMBER_OF_NODES}" \4      --machine-type "${K8S_CLUSTER_0_MACHINE_TYPE}" \5      ${GKE_SPOT_INSTANCES_SWITCH:-""}

   1gcloud container clusters create "${K8S_CLUSTER_1}" \2      --zone="${K8S_CLUSTER_1_ZONE}" \3      --num-nodes="${K8S_CLUSTER_1_NUMBER_OF_NODES}" \4      --machine-type "${K8S_CLUSTER_1_MACHINE_TYPE}" \5      ${GKE_SPOT_INSTANCES_SWITCH:-""}

   1gcloud container clusters create "${K8S_CLUSTER_2}" \2      --zone="${K8S_CLUSTER_2_ZONE}" \3      --num-nodes="${K8S_CLUSTER_2_NUMBER_OF_NODES}" \4      --machine-type "${K8S_CLUSTER_2_MACHINE_TYPE}" \5      ${GKE_SPOT_INSTANCES_SWITCH:-""}

2. 기본값 gcloud 프로젝트 를 설정합니다.

   1gcloud config set project "${MDB_GKE_PROJECT}"

3. 자격 증명을 얻고 현재 kubeconfig 파일에 컨텍스트를 저장합니다. 기본적으로 이 파일은 ~/.kube/config 디렉토리에 있으며 $KUBECONFIG 환경 변수에 의해 참조됩니다.

   1gcloud container clusters get-credentials "${K8S_CLUSTER_0}" --zone="${K8S_CLUSTER_0_ZONE}"2gcloud container clusters get-credentials "${K8S_CLUSTER_1}" --zone="${K8S_CLUSTER_1_ZONE}"3gcloud container clusters get-credentials "${K8S_CLUSTER_2}" --zone="${K8S_CLUSTER_2_ZONE}"

   모든 kubectl 명령은 다음 변수를 사용하여 이러한 컨텍스트를 참조합니다.

   • $K8S_CLUSTER_0_CONTEXT_NAME

   • $K8S_CLUSTER_1_CONTEXT_NAME

   • $K8S_CLUSTER_2_CONTEXT_NAME

4. kubectl 이(가) Kubernetes 클러스터에 액세스할 수 있는지 확인합니다.

   1echo "Nodes in cluster ${K8S_CLUSTER_0_CONTEXT_NAME}"2kubectl --context "${K8S_CLUSTER_0_CONTEXT_NAME}" get nodes3echo; echo "Nodes in cluster ${K8S_CLUSTER_1_CONTEXT_NAME}"4kubectl --context "${K8S_CLUSTER_1_CONTEXT_NAME}" get nodes5echo; echo "Nodes in cluster ${K8S_CLUSTER_2_CONTEXT_NAME}"6kubectl --context "${K8S_CLUSTER_2_CONTEXT_NAME}" get nodes

   출력 보기

5. Istio 서비스 메시를 설치하여 Kubernetes 클러스터 간의 클러스터 간 DNS 확인 및 네트워크 연결을 허용합니다.

   1CTX_CLUSTER1=${K8S_CLUSTER_0_CONTEXT_NAME} \2CTX_CLUSTER2=${K8S_CLUSTER_1_CONTEXT_NAME} \3CTX_CLUSTER3=${K8S_CLUSTER_2_CONTEXT_NAME} \4ISTIO_VERSION="1.20.2" \5../multi-cluster/install_istio_separate_network.sh

네임스페이스를 만듭니다.

• Kubernetes Operator 배포를 위해 $OPERATOR_NAMESPACE 환경 변수 가 참조하는 별도의 네임스페이스 mongodb-operator 을 만듭니다.

• 각 멤버 Kubernetes 클러스터에 동일한 $OPERATOR_NAMESPACE 를 생성합니다. 이는 kubectl MongoDB 플러그인 이 각 멤버 클러스터에서 Kubernetes 연산자에 대한 서비스 계정을 생성할 수 있도록 하기 위해 필요합니다. Kubernetes Operator는 연산자 클러스터에서 이러한 서비스 계정을 사용하여 각 멤버 클러스터에서 작업을 수행합니다.

  1kubectl --context "${K8S_CLUSTER_0_CONTEXT_NAME}" create namespace "${OPERATOR_NAMESPACE}"2kubectl --context "${K8S_CLUSTER_0_CONTEXT_NAME}" label namespace "${OPERATOR_NAMESPACE}" istio-injection=enabled --overwrite3
  4kubectl --context "${K8S_CLUSTER_1_CONTEXT_NAME}" create namespace "${OPERATOR_NAMESPACE}"5kubectl --context "${K8S_CLUSTER_1_CONTEXT_NAME}" label namespace "${OPERATOR_NAMESPACE}" istio-injection=enabled --overwrite6
  7kubectl --context "${K8S_CLUSTER_2_CONTEXT_NAME}" create namespace "${OPERATOR_NAMESPACE}"8kubectl --context "${K8S_CLUSTER_2_CONTEXT_NAME}" label namespace "${OPERATOR_NAMESPACE}" istio-injection=enabled --overwrite

• 중앙 클러스터 역할을 제공하는 노드 클러스터를 포함하여 각 노드 클러스터에서 별도의 네임스페이스인 mongodb 을(를) 만듭니다. Kubernetes Operator는 MongoDB Ops Manager 리소스 및 구성 요소에 이 네임스페이스를 사용합니다.

  1kubectl --context "${K8S_CLUSTER_0_CONTEXT_NAME}" create namespace "${NAMESPACE}"2kubectl --context "${K8S_CLUSTER_0_CONTEXT_NAME}" label namespace "${NAMESPACE}" istio-injection=enabled --overwrite3
  4kubectl --context "${K8S_CLUSTER_1_CONTEXT_NAME}" create namespace "${NAMESPACE}"5kubectl --context "${K8S_CLUSTER_1_CONTEXT_NAME}" label namespace "${NAMESPACE}" istio-injection=enabled --overwrite6
  7kubectl --context "${K8S_CLUSTER_2_CONTEXT_NAME}" create namespace "${NAMESPACE}"8kubectl --context "${K8S_CLUSTER_2_CONTEXT_NAME}" label namespace "${NAMESPACE}" istio-injection=enabled --overwrite

선택 사항. 비공개 이미지 레지스트리에서 시크릿을 가져오도록 클러스터에 권한을 부여합니다.

Quay 레지스트리의 공식 Helm 차트 및 이미지를 사용하는 경우 이 단계는 선택 사항입니다.

1kubectl --context "${K8S_CLUSTER_0_CONTEXT_NAME}" -n "${OPERATOR_NAMESPACE}" create secret generic "image-registries-secret" \2        --from-file=.dockerconfigjson="${HOME}/.docker/config.json" --type=kubernetes.io/dockerconfigjson3kubectl --context "${K8S_CLUSTER_0_CONTEXT_NAME}" -n "${NAMESPACE}" create secret generic "image-registries-secret" \4        --from-file=.dockerconfigjson="${HOME}/.docker/config.json" --type=kubernetes.io/dockerconfigjson5kubectl --context "${K8S_CLUSTER_1_CONTEXT_NAME}" -n "${NAMESPACE}" create secret generic "image-registries-secret" \6        --from-file=.dockerconfigjson="${HOME}/.docker/config.json" --type=kubernetes.io/dockerconfigjson7kubectl --context "${K8S_CLUSTER_2_CONTEXT_NAME}" -n "${NAMESPACE}" create secret generic "image-registries-secret" \8        --from-file=.dockerconfigjson="${HOME}/.docker/config.json" --type=kubernetes.io/dockerconfigjson

선택 사항. 클러스터 연결을 확인합니다.

다음 선택적 스크립트는 서비스 메시가 클러스터 간 DNS 확인 및 연결을 위해 올바르게 구성되었는지 확인합니다.

1. 클러스터 0 에서 이 스크립트를 실행합니다.

   1kubectl apply --context "${K8S_CLUSTER_0_CONTEXT_NAME}" -n "${NAMESPACE}" -f - <<EOF2  apiVersion: apps/v13  kind: StatefulSet4  metadata:5    name: echoserver06  spec:7    replicas: 18    selector:9      matchLabels:10        app: echoserver011    template:12      metadata:13        labels:14          app: echoserver015      spec:16        containers:17          - image: k8s.gcr.io/echoserver:1.1018            imagePullPolicy: Always19            name: echoserver020            ports:21              - containerPort: 808022EOF

2. 클러스터 1 에서 이 스크립트를 실행합니다.

   1kubectl apply --context "${K8S_CLUSTER_1_CONTEXT_NAME}" -n "${NAMESPACE}" -f - <<EOF2  apiVersion: apps/v13  kind: StatefulSet4  metadata:5    name: echoserver16  spec:7    replicas: 18    selector:9      matchLabels:10        app: echoserver111    template:12      metadata:13        labels:14          app: echoserver115      spec:16        containers:17          - image: k8s.gcr.io/echoserver:1.1018            imagePullPolicy: Always19            name: echoserver120            ports:21              - containerPort: 808022EOF

3. 클러스터 2 에서 이 스크립트를 실행합니다.

   1kubectl apply --context "${K8S_CLUSTER_2_CONTEXT_NAME}" -n "${NAMESPACE}" -f - <<EOF2  apiVersion: apps/v13  kind: StatefulSet4  metadata:5    name: echoserver26  spec:7    replicas: 18    selector:9      matchLabels:10        app: echoserver211    template:12      metadata:13        labels:14          app: echoserver215      spec:16        containers:17          - image: k8s.gcr.io/echoserver:1.1018            imagePullPolicy: Always19            name: echoserver220            ports:21              - containerPort: 808022EOF

4. 이 스크립트를 실행하여 StatefulSet가 생성될 때까지 기다립니다.

   1kubectl wait --context "${K8S_CLUSTER_0_CONTEXT_NAME}" -n "${NAMESPACE}" --for=condition=ready pod -l statefulset.kubernetes.io/pod-name=echoserver0-0 --timeout=60s2kubectl wait --context "${K8S_CLUSTER_1_CONTEXT_NAME}" -n "${NAMESPACE}" --for=condition=ready pod -l statefulset.kubernetes.io/pod-name=echoserver1-0 --timeout=60s3kubectl wait --context "${K8S_CLUSTER_2_CONTEXT_NAME}" -n "${NAMESPACE}" --for=condition=ready pod -l statefulset.kubernetes.io/pod-name=echoserver2-0 --timeout=60s

5. 클러스터 0 에 Pod 서비스를 만듭니다.

   1kubectl apply --context "${K8S_CLUSTER_0_CONTEXT_NAME}" -n "${NAMESPACE}" -f - <<EOF2apiVersion: v13kind: Service4metadata:5  name: echoserver0-06spec:7  ports:8    - port: 80809      targetPort: 808010      protocol: TCP11  selector:12    statefulset.kubernetes.io/pod-name: "echoserver0-0"13EOF

6. 클러스터 1 에 Pod 서비스를 만듭니다.

   1kubectl apply --context "${K8S_CLUSTER_1_CONTEXT_NAME}" -n "${NAMESPACE}" -f - <<EOF2apiVersion: v13kind: Service4metadata:5  name: echoserver1-06spec:7  ports:8    - port: 80809      targetPort: 808010      protocol: TCP11  selector:12    statefulset.kubernetes.io/pod-name: "echoserver1-0"13EOF

7. 클러스터 2 에 Pod 서비스를 만듭니다.

   1kubectl apply --context "${K8S_CLUSTER_2_CONTEXT_NAME}" -n "${NAMESPACE}" -f - <<EOF2apiVersion: v13kind: Service4metadata:5  name: echoserver2-06spec:7  ports:8    - port: 80809      targetPort: 808010      protocol: TCP11  selector:12    statefulset.kubernetes.io/pod-name: "echoserver2-0"13EOF

8. 클러스터 0 에 라운드 로빈 서비스를 생성합니다.

   1kubectl apply --context "${K8S_CLUSTER_0_CONTEXT_NAME}" -n "${NAMESPACE}" -f - <<EOF2apiVersion: v13kind: Service4metadata:5  name: echoserver6spec:7  ports:8    - port: 80809      targetPort: 808010      protocol: TCP11  selector:12    app: echoserver013EOF

9. 클러스터 1 에 라운드 로빈 서비스를 생성합니다.

   1kubectl apply --context "${K8S_CLUSTER_1_CONTEXT_NAME}" -n "${NAMESPACE}" -f - <<EOF2apiVersion: v13kind: Service4metadata:5  name: echoserver6spec:7  ports:8    - port: 80809      targetPort: 808010      protocol: TCP11  selector:12    app: echoserver113EOF

10. 클러스터 2 에 라운드 로빈 서비스를 생성합니다.

    1kubectl apply --context "${K8S_CLUSTER_2_CONTEXT_NAME}" -n "${NAMESPACE}" -f - <<EOF2apiVersion: v13kind: Service4metadata:5  name: echoserver6spec:7  ports:8    - port: 80809      targetPort: 808010      protocol: TCP11  selector:12    app: echoserver213EOF

11. 클러스터 1 에서 Pod 0 을(를) 확인합니다.

    1source_cluster=${K8S_CLUSTER_1_CONTEXT_NAME}2target_pod="echoserver0-0"3source_pod="echoserver1-0"4target_url="http://${target_pod}.${NAMESPACE}.svc.cluster.local:8080"5echo "Checking cross-cluster DNS resolution and connectivity from ${source_pod} in ${source_cluster} to ${target_pod}"6out=$(kubectl exec --context "${source_cluster}" -n "${NAMESPACE}" "${source_pod}" -- \7  /bin/bash -c "curl -v ${target_url}" 2>&1);8grep "Hostname: ${target_pod}" &>/dev/null <<< "${out}" && echo "SUCCESS" || (echo "ERROR: ${out}" && return 1)

    출력 보기

12. 클러스터 0 에서 Pod 1 을(를) 확인합니다.

    1source_cluster=${K8S_CLUSTER_0_CONTEXT_NAME}2target_pod="echoserver1-0"3source_pod="echoserver0-0"4target_url="http://${target_pod}.${NAMESPACE}.svc.cluster.local:8080"5echo "Checking cross-cluster DNS resolution and connectivity from ${source_pod} in ${source_cluster} to ${target_pod}"6out=$(kubectl exec --context "${source_cluster}" -n "${NAMESPACE}" "${source_pod}" -- \7  /bin/bash -c "curl -v ${target_url}" 2>&1);8grep "Hostname: ${target_pod}" &>/dev/null <<< "${out}" && echo "SUCCESS" || (echo "ERROR: ${out}" && return 1)

    출력 보기

13. 클러스터 2 에서 Pod 1 을(를) 확인합니다.

    1source_cluster=${K8S_CLUSTER_2_CONTEXT_NAME}2target_pod="echoserver1-0"3source_pod="echoserver2-0"4target_url="http://${target_pod}.${NAMESPACE}.svc.cluster.local:8080"5echo "Checking cross-cluster DNS resolution and connectivity from ${source_pod} in ${source_cluster} to ${target_pod}"6out=$(kubectl exec --context "${source_cluster}" -n "${NAMESPACE}" "${source_pod}" -- \7  /bin/bash -c "curl -v ${target_url}" 2>&1);8grep "Hostname: ${target_pod}" &>/dev/null <<< "${out}" && echo "SUCCESS" || (echo "ERROR: ${out}" && return 1)

    출력 보기

15. 클러스터 0 에서 Pod 2 을(를) 확인합니다.

    1source_cluster=${K8S_CLUSTER_0_CONTEXT_NAME}2target_pod="echoserver2-0"3source_pod="echoserver0-0"4target_url="http://${target_pod}.${NAMESPACE}.svc.cluster.local:8080"5echo "Checking cross-cluster DNS resolution and connectivity from ${source_pod} in ${source_cluster} to ${target_pod}"6out=$(kubectl exec --context "${source_cluster}" -n "${NAMESPACE}" "${source_pod}" -- \7  /bin/bash -c "curl -v ${target_url}" 2>&1);8grep "Hostname: ${target_pod}" &>/dev/null <<< "${out}" && echo "SUCCESS" || (echo "ERROR: ${out}" && return 1)

    출력 보기

16. 정리 스크립트를 실행합니다.

    1kubectl --context "${K8S_CLUSTER_0_CONTEXT_NAME}" -n "${NAMESPACE}" delete statefulset echoserver02kubectl --context "${K8S_CLUSTER_1_CONTEXT_NAME}" -n "${NAMESPACE}" delete statefulset echoserver13kubectl --context "${K8S_CLUSTER_2_CONTEXT_NAME}" -n "${NAMESPACE}" delete statefulset echoserver24kubectl --context "${K8S_CLUSTER_0_CONTEXT_NAME}" -n "${NAMESPACE}" delete service echoserver5kubectl --context "${K8S_CLUSTER_1_CONTEXT_NAME}" -n "${NAMESPACE}" delete service echoserver6kubectl --context "${K8S_CLUSTER_2_CONTEXT_NAME}" -n "${NAMESPACE}" delete service echoserver7kubectl --context "${K8S_CLUSTER_0_CONTEXT_NAME}" -n "${NAMESPACE}" delete service echoserver0-08kubectl --context "${K8S_CLUSTER_1_CONTEXT_NAME}" -n "${NAMESPACE}" delete service echoserver1-09kubectl --context "${K8S_CLUSTER_2_CONTEXT_NAME}" -n "${NAMESPACE}" delete service echoserver2-0

멀티 클러스터 구성을 배포합니다.

이 단계에서는 kubectl mongodb 플러그인을 사용하여 Kubernetes Operator가 여러 Kubernetes 클러스터에서 워크로드를 관리하는 데 필요한 Kubernetes 클러스터 구성을 자동화합니다.

Kubernetes Operator를 설치하기 전에 Kubernetes 클러스터를 구성하기 때문에 멀티 Kubernetes 클러스터 작업을 위해 Kubernetes Operator를 배포할 때 필요한 모든 멀티 클러스터 구성이 이미 준비되어 있습니다.

개요 에 명시된 대로 Kubernetes 연산자에는 Ops Manager MongoDB 데이터베이스를 배포하는 데 사용할 수 있는 세 개의 노드 클러스터에 대한 구성이 있습니다. 첫 번째 클러스터는 중앙 클러스터로도 사용되며, 여기서 Kubernetes Operator를 설치하고 사용자 지정 리소스를 배포합니다.

1kubectl mongodb multicluster setup \2  --central-cluster="${K8S_CLUSTER_0_CONTEXT_NAME}" \3  --member-clusters="${K8S_CLUSTER_0_CONTEXT_NAME},${K8S_CLUSTER_1_CONTEXT_NAME},${K8S_CLUSTER_2_CONTEXT_NAME}" \4  --member-cluster-namespace="${NAMESPACE}" \5  --central-cluster-namespace="${OPERATOR_NAMESPACE}" \6  --create-service-account-secrets \7  --install-database-roles=true \8  --image-pull-secrets=image-registries-secret

1Ensured namespaces exist in all clusters.2creating operator cluster roles in cluster: gke_scratch-kubernetes-team_europe-central2-a_k8s-mdb-03creating member roles in cluster: gke_scratch-kubernetes-team_europe-central2-b_k8s-mdb-14creating member roles in cluster: gke_scratch-kubernetes-team_europe-central2-c_k8s-mdb-25Ensured ServiceAccounts and Roles.6Creating KubeConfig secret mongodb-operator/mongodb-enterprise-operator-multi-cluster-kubeconfig in cluster gke_scratch-kubernetes-team_europe-central2-a_k8s-mdb-07Ensured database Roles in member clusters.8Creating Member list Configmap mongodb-operator/mongodb-kubernetes-operator-member-list in cluster gke_scratch-kubernetes-team_europe-central2-a_k8s-mdb-0

Helm 차트를 사용하여 Kubernetes Operator를 설치합니다.

1. MongoDB Helm 리포지토리 를 추가하고 업데이트 합니다. 로컬 Helm 캐시 가 올바른 Kubernetes 연산자 버전을 참조하는지 확인합니다.

   1helm repo add mongodb https://mongodb.github.io/helm-charts2helm repo update mongodb3helm search repo "${OFFICIAL_OPERATOR_HELM_CHART}"

   출력 보기

2. $NAMESPACE 을 감시하고 3개의 멤버 Kubernetes 클러스터를 관리 하도록 구성된 $OPERATOR_NAMESPACE에 Kubernetes Operator를 설치합니다. 절차의 이 점 에서 ServiceAccounts 와 역할 은 kubectl mongodb 플러그인에 의해 이미 배포되었습니다. 따라서 다음 스크립트는 구성을 건너뛰고 operator.createOperatorServiceAccount=false 및 operator.createResourcesServiceAccountsAndRoles=false를 설정하다 . 스크립트는 설정을 지정하여 Helm 차트 multiCluster.clusters 멀티 클러스터 모드에서 Kubernetes 연산자를 배포 하도록 지시합니다.

   1helm upgrade --install \2  --debug \3  --kube-context "${K8S_CLUSTER_0_CONTEXT_NAME}" \4  mongodb-kubernetes-operator-multi-cluster \5  "${OPERATOR_HELM_CHART}" \6  --namespace="${OPERATOR_NAMESPACE}" \7  --set namespace="${OPERATOR_NAMESPACE}" \8  --set operator.namespace="${OPERATOR_NAMESPACE}" \9  --set operator.watchNamespace="${NAMESPACE}" \10  --set operator.name=mongodb-kubernetes-operator-multi-cluster \11  --set operator.createOperatorServiceAccount=false \12  --set operator.createResourcesServiceAccountsAndRoles=false \13  --set "multiCluster.clusters={${K8S_CLUSTER_0_CONTEXT_NAME},${K8S_CLUSTER_1_CONTEXT_NAME},${K8S_CLUSTER_2_CONTEXT_NAME}}" \14  --set "${OPERATOR_ADDITIONAL_HELM_VALUES:-"dummy=value"}"

   출력 보기

3. Kubernetes Operator 배포를 확인합니다.

   1kubectl --context "${K8S_CLUSTER_0_CONTEXT_NAME}" -n "${OPERATOR_NAMESPACE}" rollout status deployment/mongodb-kubernetes-operator-multi-cluster2echo "Operator deployment in ${OPERATOR_NAMESPACE} namespace"3kubectl --context "${K8S_CLUSTER_0_CONTEXT_NAME}" -n "${OPERATOR_NAMESPACE}" get deployments4echo; echo "Operator pod in ${OPERATOR_NAMESPACE} namespace"5kubectl --context "${K8S_CLUSTER_0_CONTEXT_NAME}" -n "${OPERATOR_NAMESPACE}" get pods

   출력 보기

TLS 인증서를 준비합니다.

이 단계에서는 애플리케이션 데이터베이스 및 MongoDB Ops Manager 애플리케이션에 대해 TLS를 활성화합니다. TLS를 사용하지 않으려면, MongoDBOpsManager 리소스에서 다음 필드를 제거하세요:

• spec.security.certsSecretPrefix

• spec.security.tls.ca

• spec.applicationDatabase.security.certsSecretPrefix

• spec.applicationDatabase.security.tls.ca

1. 선택 사항. 키 및 인증서를 생성합니다.

   openssl 명령줄 도구를 사용하여 테스트 목적으로 자체 서명된 CA 및 인증서를 생성합니다.

   1mkdir certs || true2
   3cat <<EOF >certs/ca.cnf4[ req ]5default_bits       = 20486prompt             = no7default_md         = sha2568distinguished_name = dn9x509_extensions    = v3_ca10
   11[ dn ]12C=US13ST=New York14L=New York15O=Example Company16OU=IT Department17CN=exampleCA18
   19[ v3_ca ]20basicConstraints = CA:TRUE21keyUsage = critical, keyCertSign, cRLSign22subjectKeyIdentifier = hash23authorityKeyIdentifier = keyid:always,issuer24EOF25
   26cat <<EOF >certs/om.cnf27[ req ]28default_bits       = 204829prompt             = no30default_md         = sha25631distinguished_name = dn32req_extensions     = req_ext33
   34[ dn ]35C=US36ST=New York37L=New York38O=Example Company39OU=IT Department40CN=${OPS_MANAGER_EXTERNAL_DOMAIN}41
   42[ req_ext ]43subjectAltName = @alt_names44keyUsage = critical, digitalSignature, keyEncipherment45extendedKeyUsage = serverAuth, clientAuth46
   47[ alt_names ]48DNS.1 = ${OPS_MANAGER_EXTERNAL_DOMAIN}49DNS.2 = om-svc.${NAMESPACE}.svc.cluster.local50EOF51
   52cat <<EOF >certs/appdb.cnf53[ req ]54default_bits       = 204855prompt             = no56default_md         = sha25657distinguished_name = dn58req_extensions     = req_ext59
   60[ dn ]61C=US62ST=New York63L=New York64O=Example Company65OU=IT Department66CN=AppDB67
   68[ req_ext ]69subjectAltName = @alt_names70keyUsage = critical, digitalSignature, keyEncipherment71extendedKeyUsage = serverAuth, clientAuth72
   73[ alt_names ]74# multi-cluster mongod hostnames from service for each pod75DNS.1 = *.${NAMESPACE}.svc.cluster.local76# single-cluster mongod hostnames from headless service77DNS.2 = *.om-db-svc.${NAMESPACE}.svc.cluster.local78EOF79
   80# generate CA keypair and certificate81openssl genrsa -out certs/ca.key 204882openssl req -x509 -new -nodes -key certs/ca.key -days 1024 -out certs/ca.crt -config certs/ca.cnf83
   84# generate OpsManager's keypair and certificate85openssl genrsa -out certs/om.key 204886openssl req -new -key certs/om.key -out certs/om.csr -config certs/om.cnf87
   88# generate AppDB's keypair and certificate89openssl genrsa -out certs/appdb.key 204890openssl req -new -key certs/appdb.key -out certs/appdb.csr -config certs/appdb.cnf91
   92# generate certificates signed by CA for OpsManager and AppDB93openssl x509 -req -in certs/om.csr -CA certs/ca.crt -CAkey certs/ca.key -CAcreateserial -out certs/om.crt -days 365 -sha256 -extfile certs/om.cnf -extensions req_ext94openssl x509 -req -in certs/appdb.csr -CA certs/ca.crt -CAkey certs/ca.key -CAcreateserial -out certs/appdb.crt -days 365 -sha256 -extfile certs/appdb.cnf -extensions req_ext

2. TLS 키로 시크릿을 생성합니다.

   자체 키와 인증서를 사용하려는 경우 이전 생성 단계를 건너뛰고 키와 인증서를 다음 파일에 저장합니다.

   • certs/ca.crt - CA 인증서. 신뢰할 수 있는 인증서를 사용할 때는 필요하지 않습니다.

   • certs/appdb.key - 애플리케이션 데이터베이스의 비공개 키입니다.

   • certs/appdb.crt - 애플리케이션 데이터베이스에 대한 인증서입니다.

   • certs/om.key - MongoDB Ops Manager용 비공개 키입니다.

   • certs/om.crt - MongoDB Ops Manager용 인증서.

   1kubectl --context "${K8S_CLUSTER_0_CONTEXT_NAME}" -n "${NAMESPACE}" create secret tls cert-prefix-om-cert \2  --cert=certs/om.crt \3  --key=certs/om.key4
   5kubectl --context "${K8S_CLUSTER_0_CONTEXT_NAME}" -n "${NAMESPACE}" create secret tls cert-prefix-om-db-cert \6  --cert=certs/appdb.crt \7  --key=certs/appdb.key8
   9kubectl --context "${K8S_CLUSTER_0_CONTEXT_NAME}" -n "${NAMESPACE}" create configmap om-cert-ca --from-file="mms-ca.crt=certs/ca.crt"10kubectl --context "${K8S_CLUSTER_0_CONTEXT_NAME}" -n "${NAMESPACE}" create configmap appdb-cert-ca --from-file="ca-pem=certs/ca.crt"

Ops Manager를 설치합니다.

이제 MongoDB Ops Manager 리소스를 배포하기 위한 환경과 Kubernetes Operator가 준비되었습니다.

1. MongoDB Ops Manager 애플리케이션 인스턴스를 배포한 후 Kubernetes Operator가 생성할 MongoDB Ops Manager 관리자에 필요한 자격 증명을 생성합니다.

   1kubectl --context "${K8S_CLUSTER_0_CONTEXT_NAME}" --namespace "${NAMESPACE}" create secret generic om-admin-user-credentials \2  --from-literal=Username="admin" \3  --from-literal=Password="Passw0rd@" \4  --from-literal=FirstName="Jane" \5  --from-literal=LastName="Doe"

2. Deploy the simplest MongoDBOpsManager custom resource possible (with TLS enabled) on a single member cluster, which is also known as the central cluster.

   이 배포서버 는 단일 클러스터 모드 의 배포와 거의 동일하지만 spec.topology 및 spec.applicationDatabase.topology 이(가) MultiCluster 로 설정하다 되어 있습니다.

   이 방법으로 배포하면 단일 Kubernetes 클러스터 배포가 단일 Kubernetes 멤버 클러스터에 대한 다중 Kubernetes 클러스터 배포의 특수한 경우임을 알 수 있습니다. 처음부터 필요한 만큼의 Kubernetes 클러스터에 MongoDB Ops Manager 애플리케이션 및 애플리케이션 데이터베이스 배포를 시작할 수 있으며, 단일 멤버 Kubernetes 클러스터로 배포를 시작할 필요가 없습니다.

   이제 둘 이상의 Kubernetes 클러스터에 걸쳐 있도록 MongoDB Ops Manager 배포를 준비했으며, 이 작업은 이 절차의 뒷부분에서 수행합니다.

   1kubectl apply --context "${K8S_CLUSTER_0_CONTEXT_NAME}" -n "${NAMESPACE}" -f - <<EOF2apiVersion: mongodb.com/v13kind: MongoDBOpsManager4metadata:5  name: om6spec:7  topology: MultiCluster8  version: "${OPS_MANAGER_VERSION}"9  adminCredentials: om-admin-user-credentials10  security:11    certsSecretPrefix: cert-prefix12    tls:13      ca: om-cert-ca14  clusterSpecList:15    - clusterName: "${K8S_CLUSTER_0_CONTEXT_NAME}"16      members: 117  applicationDatabase:18    version: "${APPDB_VERSION}"19    topology: MultiCluster20    security:21      certsSecretPrefix: cert-prefix22      tls:23        ca: appdb-cert-ca24    clusterSpecList:25      - clusterName: "${K8S_CLUSTER_0_CONTEXT_NAME}"26        members: 327  backup:28    enabled: false29EOF

3. Kubernetes Operator가 작업을 시작하고 status.applicationDatabase.phase=Pending 상태에 도달할 때까지 기다립니다. 애플리케이션 데이터베이스와 MongoDB Ops Manager 배포가 모두 완료될 때까지 기다립니다.

   1echo "Waiting for Application Database to reach Pending phase..."2kubectl --context "${K8S_CLUSTER_0_CONTEXT_NAME}" -n "${NAMESPACE}" wait --for=jsonpath='{.status.applicationDatabase.phase}'=Pending opsmanager/om --timeout=30s

   출력 보기

4. MongoDB Ops Manager를 배포합니다. Kubernetes Operator는 다음 단계를 수행하여 MongoDB Ops Manager를 배포합니다. 다음과 같습니다.

   • 애플리케이션 데이터베이스의 복제본 세트 노드를 배포하고 복제본 세트의 MongoDB 프로세스가 실행되기 시작할 때까지 기다립니다.

   • 애플리케이션 데이터베이스의 연결 string 을 사용하여 MongoDB Ops Manager 애플리케이션 인스턴스를 배포하고 준비될 때까지 기다립니다.

   • 각 애플리케이션 데이터베이스의 파드에 모니터링 MongoDB Agent 컨테이너를 추가합니다.

   • MongoDB Ops Manager 애플리케이션과 애플리케이션 데이터베이스 파드가 모두 실행되기를 기다립니다.

   1echo "Waiting for Application Database to reach Running phase..."2kubectl --context "${K8S_CLUSTER_0_CONTEXT_NAME}" -n "${NAMESPACE}" wait --for=jsonpath='{.status.applicationDatabase.phase}'=Running opsmanager/om --timeout=900s3echo; echo "Waiting for Ops Manager to reach Running phase..."4kubectl --context "${K8S_CLUSTER_0_CONTEXT_NAME}" -n "${NAMESPACE}" wait --for=jsonpath='{.status.opsManager.phase}'=Running opsmanager/om --timeout=900s5echo; echo "Waiting for Application Database to reach Pending phase (enabling monitoring)..."6kubectl --context "${K8S_CLUSTER_0_CONTEXT_NAME}" -n "${NAMESPACE}" wait --for=jsonpath='{.status.applicationDatabase.phase}'=Running opsmanager/om --timeout=900s7echo "Waiting for Application Database to reach Running phase..."8kubectl --context "${K8S_CLUSTER_0_CONTEXT_NAME}" -n "${NAMESPACE}" wait --for=jsonpath='{.status.applicationDatabase.phase}'=Running opsmanager/om --timeout=900s9echo; echo "Waiting for Ops Manager to reach Running phase..."10kubectl --context "${K8S_CLUSTER_0_CONTEXT_NAME}" -n "${NAMESPACE}" wait --for=jsonpath='{.status.opsManager.phase}'=Running opsmanager/om --timeout=900s11echo; echo "MongoDBOpsManager resource"12kubectl --context "${K8S_CLUSTER_0_CONTEXT_NAME}" -n "${NAMESPACE}" get opsmanager/om13echo; echo "Pods running in cluster ${K8S_CLUSTER_0_CONTEXT_NAME}"14kubectl --context "${K8S_CLUSTER_0_CONTEXT_NAME}" -n "${NAMESPACE}" get pods15echo; echo "Pods running in cluster ${K8S_CLUSTER_1_CONTEXT_NAME}"16kubectl --context "${K8S_CLUSTER_1_CONTEXT_NAME}" -n "${NAMESPACE}" get pods

   출력 보기

   이제 멀티 클러스터 모드 에서 단일 멤버 클러스터를 배포했으므로 둘 이상의 Kubernetes 클러스터에 걸쳐 배포되도록 이 배포를 재구성할 수 있습니다.

5. 두 번째 멤버 클러스터에서 애플리케이션 데이터베이스 복제본 세트 멤버 2개와 MongoDB Ops Manager 애플리케이션의 추가 인스턴스 1개를 배포합니다.

   1kubectl apply --context "${K8S_CLUSTER_0_CONTEXT_NAME}" -n "${NAMESPACE}" -f - <<EOF2apiVersion: mongodb.com/v13kind: MongoDBOpsManager4metadata:5  name: om6spec:7  topology: MultiCluster8  version: "${OPS_MANAGER_VERSION}"9  adminCredentials: om-admin-user-credentials10  security:11    certsSecretPrefix: cert-prefix12    tls:13      ca: om-cert-ca14  clusterSpecList:15    - clusterName: "${K8S_CLUSTER_0_CONTEXT_NAME}"16      members: 117    - clusterName: "${K8S_CLUSTER_1_CONTEXT_NAME}"18      members: 119  applicationDatabase:20    version: "${APPDB_VERSION}"21    topology: MultiCluster22    security:23      certsSecretPrefix: cert-prefix24      tls:25        ca: appdb-cert-ca26    clusterSpecList:27      - clusterName: "${K8S_CLUSTER_0_CONTEXT_NAME}"28        members: 329      - clusterName: "${K8S_CLUSTER_1_CONTEXT_NAME}"30        members: 231  backup:32    enabled: false33EOF

6. Kubernetes Operator가 작업을 시작할 때까지 기다립니다(보류 단계).

   1echo "Waiting for Application Database to reach Pending phase..."2kubectl --context "${K8S_CLUSTER_0_CONTEXT_NAME}" -n "${NAMESPACE}" wait --for=jsonpath='{.status.applicationDatabase.phase}'=Pending opsmanager/om --timeout=30s

   출력 보기

7. Kubernetes Operator가 모든 구성 요소 배포를 완료할 때까지 기다립니다.

   1echo "Waiting for Application Database to reach Running phase..."2kubectl --context "${K8S_CLUSTER_0_CONTEXT_NAME}" -n "${NAMESPACE}" wait --for=jsonpath='{.status.applicationDatabase.phase}'=Running opsmanager/om --timeout=600s3echo; echo "Waiting for Ops Manager to reach Running phase..."4kubectl --context "${K8S_CLUSTER_0_CONTEXT_NAME}" -n "${NAMESPACE}" wait --for=jsonpath='{.status.opsManager.phase}'=Running opsmanager/om --timeout=600s5echo; echo "MongoDBOpsManager resource"6kubectl --context "${K8S_CLUSTER_0_CONTEXT_NAME}" -n "${NAMESPACE}" get opsmanager/om7echo; echo "Pods running in cluster ${K8S_CLUSTER_0_CONTEXT_NAME}"8kubectl --context "${K8S_CLUSTER_0_CONTEXT_NAME}" -n "${NAMESPACE}" get pods9echo; echo "Pods running in cluster ${K8S_CLUSTER_1_CONTEXT_NAME}"10kubectl --context "${K8S_CLUSTER_1_CONTEXT_NAME}" -n "${NAMESPACE}" get pods

   출력 보기