Al habilitar la copia de seguridad directa a S3, el agente de MongoDB carga los bloques de instantáneas directamente a S3 mediante URL pre-firmadas proporcionadas por Ops Manager. Ops Manager solo gestiona los metadatos de la carga, como la generación de URL pre-firmadas, el seguimiento del manifiesto del bloque y la señalización de finalización. La ruta de datos de la instantánea evita Ops Manager y ya no pasa por el servidor de Ops Manager. Esto elimina el cuello de botella del proxy para implementaciones grandes y programas de copia de seguridad frecuentes.
Este tema explica cómo habilitar la copia de seguridad directa a S3 y cómo configurar sus ajustes opcionales.
Importante
La copia de seguridad directa a S3 requiere Ops Manager 9.0.0 o posterior, o Ops Manager 8.0.27 o posterior, y una versión mínima del agente de MongoDB en cada host que ejecute la copia de seguridad:
Versión de Ops Manager | Versión mínima del agente de MongoDB |
|---|---|
9.0 |
|
8.0 |
|
Cómo funciona la copia de seguridad directa a S3
Cuando la opción Copia de seguridad directa a S3 está habilitada en un trabajo de copia de seguridad y el agente de MongoDB en la implementación cumple con el requisito de versión mínima, Ops Manager realiza las siguientes acciones:
Ops Manager genera URL de carga pre-firmadas utilizando las credenciales S3 configuradas para el almacén de bloques de instantáneas. Las URL apuntan al mismo bucket S3 que utiliza el almacén de bloques.
Ops Manager establece
uploadPath=AGENT_DIRECT_S3en la descripción del cursor de copia de seguridad. El agente de MongoDB lee este valor, congela la ruta de carga para la tarea y carga los bloques de instantáneas directamente a S3 utilizando esas URL pre-firmadas.Ops Manager realiza un seguimiento de la finalización de la carga a través de las API del manifiesto de bloques. No se producen llamadas de carga de proxy
/dataBlocks.
Debido a que el agente de MongoDB carga los datos de las instantáneas directamente en S3, Ops Manager ya no se encuentra en la ruta de datos para las copias de seguridad. Ops Manager solo se encarga de los metadatos de las copias de seguridad.
Coexistencia y alternativa
Las copias de seguridad directas a S3 y las copias de seguridad estándar que transmiten datos a través de Ops Manager pueden coexistir.
En un trabajo donde se habilita la copia de seguridad directa a S3, Ops Manager recurre a la ruta estándar cuando la versión del agente de MongoDB es inferior a la mínima. Esta opción de respaldo se mantiene hasta que se actualiza el agente de MongoDB. Las flotas con versiones mixtas continúan realizando copias de seguridad correctamente.
Las implementaciones que cumplen con el requisito de versión utilizan la copia de seguridad directa a S3.
Las implementaciones que no cumplen con el requisito de versión utilizan la ruta de datos estándar. El trabajo cambia automáticamente a Copia de seguridad directa a S3 en la primera instantánea después de actualizar el agente de MongoDB, sin necesidad de realizar ninguna otra acción. Una instantánea que ya está en curso se completa en su ruta de carga original.
Además, puede habilitar o deshabilitar manualmente la copia de seguridad directa a S3 para una tarea, como se describe a continuación.
Nota
La copia de seguridad directa a S3 se aplica únicamente a los datos de bloques de instantáneas. Los datos de Oplog para la recuperación puntual siguen utilizando la ruta de copia de seguridad estándar a través del almacén de oplog configurado.
Requisitos previos
Antes de habilitar la copia de seguridad directa a S3:
Asegúrese de estar ejecutando Ops Manager 9.0.0 o posterior, o Ops Manager 8.0.27 o posterior.
Asegúrese de tener una versión de MongoDB Agent de al menos
109.0.0.9279-1para implementaciones de Ops Manager 9.0, o108.0.27.9088-1para implementaciones de Ops Manager 8.0, en cada host que ejecute la copia de seguridad.Asegúrese de que la implementación tenga un almacén de instantáneas S3 (blockstore). Ops Manager utiliza el mismo bucket S3 y las mismas credenciales que utiliza el blockstore.
Acceso a la red del host de respaldo
Cada servidor que ejecuta una copia de seguridad debe poder:
Resolver el nombre DNS del S3 o del endpoint compatible S3
Establecer conexiones HTTPS salientes a ese endpoint
Cargue los datos utilizando las URL pre-firmadas S3 que genera Ops Manager.
Al habilitar la copia de seguridad directa a S3, la ruta de carga de alto volumen se traslada de los servidores de la aplicación Ops Manager a todos los hosts que ejecutan un agente de MongoDB. Anteriormente, solo los servidores de Ops Manager necesitaban acceso de red a S3. Verifique la conectividad saliente desde un host de copia de seguridad al punto final S3 antes de habilitar la función.
Los agentes de MongoDB no requieren claves de acceso S3 ni roles de IAM. Ops Manager genera todas las URL pre-firmadas utilizando las credenciales S3 configuradas para el almacén de instantáneas. Dichas credenciales deben permitir operaciones PUT pre-firmadas en el bucket, no solo lecturas.
Habilitar copia de seguridad directa a S3
Para habilitar la copia de seguridad directa a S3, complete los siguientes pasos.
Habilitar la función de copia de seguridad directa a S3.
En la consola de Ops Manager Admin, haga clic en General y Ops Manager Config.
Haz clic en la pestaña Custom.
Agregue uno de los siguientes pares clave-valor para habilitar la copia de seguridad directa a S3 a nivel global o de proyecto:
Nivel de accesoClaveValorProyecto
mms.featureFlag.backup.d2s3controlledGlobal
mms.featureFlag.backup.d2s3enabledHaga clic en Save.
(Condicional) Habilitar la copia de seguridad directa a S3 en el proyecto.
Si configuraste la bandera en controlled en el paso anterior, habilita la función en la configuración de tu proyecto:
En el proyecto de Ops Manager, haz clic en Settings.
Haga clic en la pestaña Beta Features y haga clic en Backup D2s3.
(Condicional) Habilitar la copia de seguridad directa a S3 en trabajos de copia de seguridad existentes.
En un proyecto donde se habilitó la copia de seguridad directa a S3, las nuevas tareas de copia de seguridad se inician con la opción de copia de seguridad directa a S3 ya habilitada. La primera instantánea de cada nueva tarea se carga directamente a S3, sin necesidad de realizar ninguna acción por tarea.
Las tareas de copia de seguridad que existían antes de habilitar la función conservan su configuración actual. También puede habilitar o deshabilitar la copia de seguridad directa a S3 en cualquier tarea. Para cambiar la configuración de una tarea:
Haz clic en Admin, Backup y luego en Jobs.
Para el trabajo de destino, localice la fila Direct S3 Backup. La fila aparece solo cuando el almacén de instantáneas del trabajo es un almacén de bloques S3.
Establezca Direct S3 Backup en Enabled o Disabled.
Para clústeres fragmentados, seleccione Apply to all cluster members para habilitar la función en cada fragmento y en el servidor de configuración.
Haga clic en Save.
Verifique la versión del agente en cada host.
Compruebe la versión de cada agente de MongoDB que ejecuta la copia de seguridad y asegúrese de que cumple con la versión mínima requerida para su implementación de Ops Manager.
La siguiente tabla resume cuándo una tarea de copia de seguridad utiliza la copia de seguridad directa a S3:
Scenario | Ruta de carga |
|---|---|
Trabajo creado después de que habilitaste la función en el proyecto. | Copia de seguridad directa a S3, comenzando con la primera instantánea. |
Trabajo creado antes de que habilitaras la función en el proyecto. | Ruta estándar hasta que habilite la copia de seguridad directa a S3 en el trabajo. |
Trabajo con copia de seguridad directa a S3 habilitada y un agente de MongoDB por debajo de la versión mínima. | Ruta estándar hasta que actualice el agente de MongoDB. El trabajo cambia a Copia de seguridad directa a S3 en la primera instantánea después de la actualización. |
Administrar la configuración opcional
Las siguientes configuraciones opcionales optimizan el rendimiento de carga de Direct to S3 Backup.
mms.backup.d2s3.transfer.numWorkersNúmero de trabajadores de carga paralela que el Agente de MongoDB utiliza para las cargas de copia de seguridad directas a S3. Valor predeterminado:
2. También puede establecer una anulación por trabajo.Configure este ajuste en el archivo de configuración de Ops Manager junto con las demás propiedades
mms.backup.*. Si configura esta propiedad, el agente de MongoDB utilizará esa cantidad exacta de trabajadores y omitirá su propio ajuste automático. Si la deja sin configurar, el agente de MongoDB ajustará el número de trabajadores en función de la CPU y la memoria del host.mms.backup.d2s3.transfer.maxNumUnitOfWorkBlocksNúmero máximo de bloques por unidad de trabajo para la ruta de carga Direct to S3. Si no se especifica, el agente de MongoDB utiliza el valor predeterminado interno
100.Configure este ajuste utilizando una de las siguientes opciones:
Aplique la configuración global de Ops Manager en la interfaz de Ops Manager.
Aplique la configuración específica del trabajo utilizando el cuadro de diálogo WTCheckpoint Config en la página Jobs.
Nota
El número de conexiones simultáneas a S3 aumenta con la cantidad de trabajos de copia de seguridad que se ejecutan al mismo tiempo. Si su implementación ejecuta muchos trabajos de copia de seguridad simultáneamente, el número total de conexiones a S3 puede ser elevado.
Consideraciones operativas
Rendimiento y dimensionamiento
Carga de Ops Manager: Los servidores de aplicaciones de Ops Manager ya no gestionan las cargas útiles de bloques de instantáneas, pero siguen manejando la pre-firma, la validación de manifiestos, el estado de los trabajos y la escritura de metadatos. Dimensiona Ops Manager para cargas de trabajo del plano de control.
Dimensionamiento del host del agente: La copia de seguridad directa a S3 traslada la compresión, el hash, TLS y las cargas paralelas de S3 desde los servidores de Ops Manager a cada host que ejecuta un agente de MongoDB. Antes de habilitar la función, asegúrese de que estos hosts tengan suficiente CPU, memoria y capacidad de red de salida para la carga de trabajo adicional. Capture una duración de instantánea de referencia y el uso de recursos para poder comparar el impacto después de habilitar la copia de seguridad directa a S3.
Cuando no se especifica
mms.backup.d2s3.transfer.numWorkers, el agente de MongoDB dimensiona automáticamente el número de trabajadores de respaldo en función de la CPU y la memoria que el host tiene permitido usar. Comienza con aproximadamente un trabajador por cada 4 vCPU de ese límite, hasta un máximo de 16 trabajadores. Cada trabajador puede usar aproximadamente un núcleo de CPU en su pico máximo, por lo que se recomienda reservar al menos el 25 % de la capacidad de CPU permitida del host para el respaldo.Durante las instantáneas, supervise el uso de CPU del agente de MongoDB y la latencia de la base de datos. Si el agente de MongoDB consume demasiados recursos de CPU o la latencia de la base de datos aumenta, considere aumentar la capacidad o reducir
numWorkers.
Ruta de red: El rendimiento total de la copia de seguridad es la suma de todas las rutas entre el agente de MongoDB y S3. Confirme que su punto final S3, punto final deVPC o proxy puede gestionar la concurrencia esperada en todos los hosts que realizan copias de seguridad simultáneamente.
Seguridad e IAM
Permisos de Ops Manager: Las credenciales S3 configuradas para el almacén de instantáneas deben permitir operaciones
PUTpre-firmadas en el bucket y los prefijos utilizados para las instantáneas.Permisos del agente de MongoDB: Los agentes de MongoDB no tienen credenciales S3. Ops Manager genera URL pre-firmadas para cada carga y verificación de bloque.
Inmutabilidad: La copia de seguridad directa a S3 es compatible con el bloqueo de objetos S3. Los identificadores de versión de objeto requeridos por las instantáneas inmutables se registran en el manifiesto del bloque.
Obtén más información
Para obtener información sobre la función complementaria que descarga datos de instantáneas directamente desde S3 durante las restauraciones, consulte Restauración directa desde S3.
Para saber cómo funcionan las copias de seguridad en Ops Manager, consulte el apartado Proceso de copia de seguridad.
Para obtener información sobre los recursos de copia de seguridad necesarios, consulte Administrar el almacenamiento de instantáneas compatible con S3.