Cuando habilita la copia de seguridad directa en S3, el MongoDB Agent carga bloques de snapshot directamente en S3 mediante URL prefirmadas que proporciona MongoDB Ops Manager. MongoDB Ops Manager gestiona solo los metadatos de la carga, como generar URL pre-firmadas, rastrear el manifiesto de bloques y señalizar la finalización. La ruta de datos del snapshot omite Ops Manager y ya no fluye a través del servidor de Ops Manager. Esto remueve el cuello de botella del proxy para implementaciones grandes y cronogramas de copia de seguridad frecuentes.
Este tema explica cómo habilitar la copia de seguridad directa en S3 y cómo configurar sus ajustes opcionales.
Importante
La copia de seguridad directa en S3 requiere MongoDB Ops Manager 9.0.0 o posterior, o MongoDB Ops Manager 8.0.27 o posterior, y una versión mÃnima de MongoDB Agent en cada host que ejecute la copia de seguridad:
Versión de Ops Manager | Versión mÃnima de MongoDB Agent |
|---|---|
9.0 |
|
8.0 |
|
Cómo funciona la copia de seguridad directa a S3
Cuando la copia de seguridad directa en S3 está habilitada en una tarea de copia de seguridad y el MongoDB Agent en la implementación cumple el requisito de versión mÃnima, Ops Manager realiza las siguientes acciones:
MongoDB Ops Manager genera URL de carga pre-firmadas utilizando las credenciales S3 configuradas para el almacenamiento en bloques de snapshot. Las URL apuntan al mismo bucket S3 que utiliza el almacenamiento en bloques.
MongoDB Ops Manager establece
uploadPath=AGENT_DIRECT_S3en la descripción del cursor de copia de seguridad. El MongoDB Agent lee este valor, congela la ruta de carga para la tarea y carga los bloques de snapshot directamente en S3 utilizando esas URL pre-firmadas.MongoDB Ops Manager rastrea la finalización de la carga a través de las API de manifiesto de bloque. No
/dataBlocksllamar de subida de proxy se producen.
Dado que MongoDB Agent carga datos de snapshot directamente en S3, MongoDB Ops Manager ya no se encuentra en la ruta de datos para las copias de seguridad. MongoDB Ops Manager sigue siendo responsable solamente de los metadatos de la copia de seguridad.
Coexistencia y Respaldo
La copia de seguridad directa en S3 y las copias de seguridad estándar que transmiten datos a través de MongoDB Ops Manager pueden coexistir.
En una tarea donde habilita la copia de seguridad directa en S3, MongoDB Ops Manager recurre a la ruta estándar cuando la versión de MongoDB Agent es inferior a la mÃnima. La reserva dura hasta que actualice el MongoDB Agent. Las flotas de versión mixta continúan respaldando con éxito:
Las implementaciones que cumplen con el requisito de versión utilizan la copia de seguridad Direct to S3.
Las implementaciones que no cumplen los requisitos de versión utilizan la ruta de datos estándar. La tarea cambia automáticamente a Direct to S3 Backup en el primer snapshot después de actualizar el MongoDB Agent, sin necesidad de realizar ninguna otra acción. Un snapshot que ya está en curso se completa en su ruta de carga original.
Además, puede habilitar o deshabilitar manualmente Direct to S3 copia de seguridad para una tarea, como se describe a continuación.
Nota
La copia de seguridad directa en S3 solo se aplica a los datos de bloque de snapshot. Los datos de oplog para la recuperación en un punto dado siguen utilizando la ruta de copia de seguridad estándar a través del almacén de oplog configurado.
Requisitos previos
Antes de habilitar la copia de seguridad directa a S3:
Asegúrese de que está ejecutando MongoDB Ops Manager 9.0.0 o posterior, o MongoDB Ops Manager 8.0.27 o posterior.
Asegúrese de que la versión de MongoDB Agent sea de al menos
109.0.0.9279-1para implementaciones de MongoDB Ops Manager 9.0, o108.0.27.9088-1para implementaciones de MongoDB Ops Manager 8.0, en cada host que ejecute la copia de seguridad.Asegúrese de que la implementación tenga un almacenamiento de snapshot S3 (almacenamiento en bloques). MongoDB Ops Manager utiliza el mismo bucket S3 y las credenciales que utiliza el almacenamiento en bloques.
Acceso a la red del host de copia de seguridad
Cada host que ejecuta una copia de seguridad debe poder:
Resolver el nombre DNS del S3 o del endpoint compatible S3
Establecer conexiones HTTPS salientes a ese endpoint
Cargar datos utilizando las URL pre-firmadas S3 que genera MongoDB Ops Manager
Cuando habilita Direct to S3 copia de seguridad, la ruta de carga de gran volumen pasa de los servidores de aplicaciones de MongoDB Ops Manager a cada host que ejecuta un MongoDB Agent. Anteriormente, solo los servidores de MongoDB Ops Manager necesitaban acceso a la red a S3. Verifique la conectividad saliente desde un host de copia de seguridad al punto de conexión S3 antes de habilitar la funcionalidad.
Los agentes de MongoDB no requieren claves de acceso de S3 ni roles de IAM. MongoDB Ops Manager genera todas las URL pre-firmadas utilizando las credenciales S3 configuradas para el almacenamiento de snapshot. Esas credenciales deben permitir operaciones pre-firmadas PUT en el bucket, no solo lecturas.
Habilitar copia de seguridad directa a S3
Para habilitar la copia de seguridad Directo a S3, complete los siguientes pasos.
Habilite la marca de funcionalidad de copia de seguridad directa a S3.
En la consola de Ops Manager Admin, haga clic en General y Ops Manager Config.
Haz clic en la pestaña Custom.
Añada uno de los siguientes pares clave-valor para habilitar Direct to S3 copia de seguridad a nivel global o de Proyecto:
Nivel de accesoClaveValorProyecto
mms.featureFlag.backup.d2s3controlledGlobal
mms.featureFlag.backup.d2s3enabledHaga clic en Save.
(Condicional) Habilitar copia de seguridad directa a S3 en el Proyecto.
Si estableció la marca en controlled en el paso anterior, habilite la funcionalidad en la configuración de su Proyecto:
En el proyecto de Ops Manager, haz clic en Settings.
Haga clic en la pestaña Beta Features y haga clic en Backup Direct To S3.
(Condicional) Habilitar la copia de seguridad directa a S3 en las tareas de copia de seguridad existentes.
En un Proyecto donde habilitó la copia de seguridad directa en S3, las nuevas tareas de copia de seguridad se inician con la copia de seguridad directa en S3 ya habilitada. El primer snapshot de cada nueva tarea se carga directamente a S3, y no se requiere ninguna acción por tarea.
Las tareas de copia de seguridad que existÃan antes de habilitar la funcionalidad mantienen su configuración existente. También puede habilitar o deshabilitar la copia de seguridad Direct to S3 en cualquier tarea. Para cambiar la configuración de una tarea:
Haga clic en Admin, Backup y, a continuación, en Jobs.
Para la tarea de destino, localice la fila Direct S3 Backup. La fila aparece solo cuando el almacenamiento de snapshot de la tarea es un almacenamiento en bloques S3.
Establezca Direct S3 Backup en Enabled o Disabled.
Para clústeres particionados, seleccione Apply to all cluster members para habilitar la funcionalidad en cada partición y el servidor de configuración.
Haga clic en Save.
Verifique la versión del agente en cada host.
Compruebe la versión de cada MongoDB Agent que ejecuta la copia de seguridad y asegúrese de que cumple la versión mÃnima para su implementación de MongoDB Ops Manager.
En la siguiente tabla, se resume cuándo una tarea de copia de seguridad utiliza Direct to S3 Backup:
Scenario | Ruta de carga |
|---|---|
tarea creada después de habilitar la funcionalidad en el Proyecto | Copia de seguridad directa en S3, a partir del primer snapshot |
tarea creada antes de que habilitara la funcionalidad en el Proyecto | Ruta estándar hasta que habilite la copia de seguridad Direct to S3 en la tarea |
Tarea con copia de seguridad Direct to S3 habilitada y un MongoDB Agent por debajo de la versión mÃnima | Ruta estándar hasta que actualice el MongoDB Agent. La tarea cambia a Direct to S3 copia de seguridad en el primer snapshot después de la actualización. |
Gestionar configuraciones opcionales
Los siguientes ajustes opcionales optimizan el rendimiento de carga de la copia de seguridad Direct to S3.
mms.backup.d2s3.transfer.numWorkersNúmero de trabajadores de carga paralela que utiliza el MongoDB Agent para las cargas de Direct to S3 copia de seguridad. Por defecto:
2. También puede establecer una anulación por tarea.Configure este ajuste en el archivo de configuración de Ops Manager junto con las otras
mms.backup.*propiedades. Si establece esta propiedad, el MongoDB Agent utiliza ese número exacto de trabajadores y omite su propio ajuste automático. Si lo deja sin configurar, el MongoDB Agent dimensiona el número de trabajadores en función de la CPU y la memoria del host.mms.backup.d2s3.transfer.maxNumUnitOfWorkBlocksNúmero máximo de bloques por unidad de trabajo para la ruta de carga Direct to S3. Cuando no está configurado, el MongoDB Agent recurre a un valor por defecto interno de
100.Configure este ajuste mediante una de las siguientes opciones:
Aplique la configuración global de Ops Manager en la interfaz de Ops Manager.
Aplicar configuración especÃfica de la tarea mediante el cuadro de diálogo WTCheckpoint Config en la página Jobs.
Nota
El número de conexiones simultáneas a S3 aumenta con el número de tareas de copia de seguridad que se ejecutan al mismo tiempo. Si su implementación ejecuta muchas tareas de copia de seguridad simultáneamente, el número total de conexiones S3 puede ser elevado.
Consideraciones operativas
Rendimiento y dimensionamiento
Carga de Ops Manager: los servidores de aplicaciones de Ops Manager ya no transportan cargas útiles de bloques de snapshot, pero siguen gestionando la firma previa, la validación de manifiestos, el estado de las tareas y guardar metadatos. Dimensionar MongoDB Ops Manager para cargas de trabajo del plano de control.
Dimensionamiento del host del agente: La copia de seguridad directa en S3 traslada la compresión, el hashing, TLS y las cargas paralelas de S3 de los servidores de MongoDB Ops Manager a cada host que ejecuta un MongoDB Agent. Antes de habilitar la funcionalidad, asegúrese de que estos host tengan suficiente CPU, memoria y capacidad de red saliente para la carga de trabajo adicional. Capture una duración de snapshot de referencia y el uso de recursos para que pueda comparar el impacto después de habilitar Direct to S3.
Cuando
mms.backup.d2s3.transfer.numWorkersno está configurado, el MongoDB Agent dimensiona automáticamente el número de trabajadores de copia de seguridad en función de la CPU y la memoria que el host puede utilizar. Comienza aproximadamente con un trabajador por cada 4 vCPU de esa asignación, hasta un máximo de 16 trabajadores. Cada trabajador puede usar aproximadamente un núcleo de CPU en su punto máximo, por lo tanto, planifique mantener al menos el 25% de la capacidad de CPU permitida del host para copia de seguridad.Durante los snapshot, supervise el uso de CPU de MongoDB Agent y la latencia de la base de datos. Si el MongoDB Agent tiene un uso intensivo de la CPU o la latencia de la base de datos aumenta, considere la posibilidad de añadir capacidad o reducir
numWorkers.
Ruta de red: El rendimiento total de la copia de seguridad es el agregado de cada ruta del agente de MongoDB a S3. Confirme que su3 puntode conexión S, punto de conexión de VPC o proxy puede gestionar la simultaneidad esperada en todos los host que realizan copias de seguridad simultáneamente.
Seguridad e IAM
Permisos de MongoDB Ops Manager: Las credenciales S3 configuradas para el almacenamiento de snapshot deben permitir operaciones
PUTpre-firmadas en el bucket y los prefijos utilizados para los snapshot.Permisos de MongoDB Agent: Los MongoDB Agent no tienen credenciales S3. MongoDB Ops Manager genera URL pre-firmadas para cada carga y verificación de bloque.
Inmutabilidad: La copia de seguridad directa a S3 es compatible con el bloqueo de objetos S3. Los ID de versión de objeto requeridos por los snapshot inmutables se registran en el manifiesto de bloque.
Obtén más información
Para obtener más información sobre la funcionalidad complementaria que descargar datos de snapshot directamente desde S3 durante las restauraciones, consulte Restauración directa desde S3.
Para aprender cómo funciona la copia de seguridad en Ops Manager, consulte Proceso de copia de seguridad.
Para obtener información sobre los recursos de copia de seguridad necesarios, consulte Gestione el almacenamiento de snapshot compatible con S3.