Overview
Puedes limitar la cantidad de datos que Atlas Data Federation procesa en tus instancias federadas de base de datos para controlar los costos. Para limitar la cantidad de datos procesados, puedes configurar límites de consulta por instancia federada de base de datos y para todas las instancias federadas de bases de datos en tu Proyecto. Los límites de query que configures solo se aplican a los costos de procesamiento de datos y no se aplican a otros costos de Atlas Data Federation, como la recuperación y transferencia de datos.
Puedes configurar un límite por query, por día, por semana y por mes por proyecto y por instancia de base de datos federada. Atlas Data Federation considera cada límite de cada tipo como independiente de otros límites configurados. Si configuras el mismo tipo de límite para el Proyecto y para una instancia federada de base de datos dentro del Proyecto, Atlas Data Federation hará cumplir el límite más restrictivo de los dos. Los valores límite deben estar entre 1GiB (1024^3 bytes) y 1EiB.
Por defecto, Atlas Data Federation establece un límite de 100 TB en la cantidad de datos procesados por mes para todas las instancias federadas de bases de datos nuevas.
Nota
Atlas Data Federation aplica el límite del proyecto por almacenamiento de objetos en la nube. Por ejemplo, supongamos que tiene 2 instancias de base de datos federadas, una en AWS y otra en Azure. Atlas Data Federation permite escaneos de hasta 100 TB por instancia de base de datos federada, para un total de 200 TB para el proyecto.
¿Qué sucede cuando la Federación de Datos de Atlas alcanza el límite de datos?
Cuando la cantidad de datos procesados alcanza el monto límite configurado, Atlas Data Federation deja de procesar datos para la query que ha alcanzado el límite si el tipo de límite es por query. Para los límites de otros tipos, Atlas Data Federation no ejecuta ninguna nueva consulta hasta que el límite se restablece según el tipo de límite configurado. Es decir, Atlas Data Federation no ejecuta ninguna query nueva hasta:
El siguiente día calendario comenzará a las
00:00UTC para el tipo de límite de por día.La próxima semana calendario, comenzando el lunes a las
00:00UTC para el tipo de límite de por semana.El próximo mes calendario comienza el primer día (1st) del mes a las
00:00UTC para el tipo de límite por mes.
Si configuras el mismo tipo de límite para tanto el Proyecto como las instancias federadas de base de datos en el Proyecto, pero con diferentes cantidades de límite para el Proyecto y las instancias federadas de base de datos en el Proyecto, se aplican los siguientes casos:
Si Atlas Data Federation alcanza el monto límite del Proyecto antes de alcanzar el monto límite para cualquier instancia federada de base de datos en el Proyecto, Atlas Data Federation permite que todas las consultas en ejecución contra todas las instancias federadas de base de datos en el Proyecto se completen.
Si Atlas Data Federation no alcanza el monto límite para el proyecto, pero alcanza el monto límite establecido para cualquier instancia de base de datos federada en el proyecto, Atlas Data Federation permite que todas las queries en curso contra esa instancia de base de datos federada se completen, pero no ejecuta ninguna nueva query contra esa instancia de base de datos federada. Atlas Data Federation continúa ejecutando queries en otras instancias federadas de base de datos en el Proyecto hasta alcanzar el monto límite establecido para el Proyecto. Cuando Atlas Data Federation alcanza el límite de proyecto, permite que se completen todas las queries en curso en todas las instancias federadas de base de datos del proyecto, pero no ejecuta queries nuevas en instancias federadas de base de datos.
Atlas Data Federation muestra una advertencia en la Interfaz de Usuario de Atlas cuando Atlas Data Federation alcanza el límite de procesamiento de datos. Además, puedes configurar Atlas Data Federation para terminar las consultas que superen el límite CUANTO ANTES cuando Atlas Data Federation alcance el límite, en lugar de permitir que las consultas en ejecución se completen.
¿Qué sucede al habilitar la terminación de consultas?
Si configura Atlas Data Federation para que finalice las consultas que superen el límite, Atlas Data Federation intentará finalizarlas cuando alcance dicho límite. Durante este proceso, es posible que Atlas Data Federation supere ligeramente el límite. En ese caso, no se devolverá ningún resultado, sino únicamente un error con el código ResourceExhausted (402). Sin embargo, se le cobrarán los gastos de procesamiento de datos correspondientes a la cantidad de datos que Atlas Data Federation procesó antes de alcanzar el límite.
Si configura el mismo tipo de límite tanto para el proyecto como para las instancias de base de datos federadas del proyecto, pero con diferentes importes de límite y configuraciones de terminación de consulta, Atlas Data Federation finaliza la consulta solo cuando la cantidad de datos que procesa Atlas Data Federation alcanza el importe límite que usted asoció con la terminación de la consulta.
Ejemplo
Supongamos un límite de proyecto de 100 GB por semana con finalización habilitada y un límite de instancia de base de datos federada de 60 GB por semana con finalización deshabilitada.
Cuando una o más consultas contra la instancia federada de base de datos alcanzan el límite de 60 GB, Atlas Data Federation termina todas las consultas en ejecución contra la instancia federada de base de datos y no ejecuta nuevas consultas. Atlas Data Federation continúa ejecutando todas las consultas en ejecución y nuevas en otras instancias federadas de bases de datos en el proyecto hasta que Atlas Data Federation alcance el límite del proyecto de 100 GB.
Cuando una o más queries alcanzan el límite de 100 GB para el Proyecto, Atlas Data Federation no ejecuta nuevas queries y termina todas las queries en todas las instancias federadas de base de datos en el Proyecto.
Acceso requerido
Para agregar, editar o borrar los límites de query, debe tener Project Owner acceso al proyecto. Los usuarios con Organization Owner acceso deben agregarse como Project Owner al Proyecto antes de agregar, editar o borrar límites de queries.
Para ver los límites de las consultas, debe tener acceso Project Read Only al proyecto o un rol con más acceso.
Procedimientos
Agregar límites de query
Puedes configurar límites en la cantidad de datos procesados para tus consultas desde la línea de comando de Atlas Atlas CLI, la interfaz de usuario Atlas UI y la API.
Para crear un nuevo límite de consulta de Data Federation mediante Atlas CLI, ejecute el siguiente comando:
atlas dataFederation queryLimits create <name> [options]
Para aprender más sobre la sintaxis del comando y los parámetros, consulta la documentación de Atlas CLI para atlas dataFederation queryLimits create.
Haga clic Manage Query Limits en para configurar los límites por instancia federada de base de datos o para todas las instancias federadas de base de datos del Proyecto.
Puede configurar límites para el Proyecto y por instancia federada de base de datos. Los límites de queries a nivel de Proyecto se aplican a todas las instancias federadas de base de datos en el Proyecto, lo que impide nuevas queries a cualquier instancia federada de base de datos cuando la cantidad de datos procesados alcanza el límite. Los límites de query en una instancia federada de base de datos se aplican únicamente a esa instancia federada de base de datos, y Atlas Data Federation no ejecutará nuevas query en esa instancia cuando la cantidad de datos procesados alcance el límite. También puede, de forma opcional, habilitar la terminación de consultas cuando Atlas Data Federation alcance el límite configurado.
Haz clic en Add Query Limit para configurar el límite.
Puedes configurar los siguientes campos en la ventana Add Query Limit:
Nombre de campo | Descripción |
|---|---|
Limit For | Especifique si el límite es para una instancia federada de base de datos o para un Proyecto. Haga clic en el menú desplegable y seleccione el Proyecto o la instancia federada de base de datos al que desea aplicar el límite. Una vez que agregue el límite, no podrá modificar esta configuración. |
Limit Type | Especifique la duración del límite. Haz clic en el menú desplegable para elegir una de las siguientes opciones:
Una vez que agregues el límite, no podrás modificar esta configuración. |
Limit Amount | Especificar la cantidad de datos en |
Terminate Queries | Activa para habilitar la terminación de queries. No puedes habilitar la terminación de querys para el tipo de límite Por query porque, por defecto, Atlas Data Federation termina la query cuando alcanza el límite para este tipo de límite. |
Haz clic en Add Query Limit para que los cambios surtan efecto.
Para los límites de tipo Per query, los cambios surten efecto de inmediato y Atlas Data Federation solo aplica el límite para todas las nuevas consultas. Para límites de otros tipos, se aplican los siguientes:
Per day - Los cambios surten efecto al inicio del lunes de la semana actual en hora UTC.
Per week - Los cambios surten efecto al inicio del lunes de la semana actual en hora UTC.
Per month - Los cambios entrarán en vigor el primer día, es decir, el inicio del período de facturación mensual, para el proyecto en UTC.
Para configurar los límites de consulta desde la API, envíe una solicitud POST al punto final limits.
Para configurar un límite que se aplique a todas las instancias federadas de base de datos en el proyecto, debes especificar el ID único del proyecto y el nombre del límite a establecer. Para saber más sobre la sintaxis y las opciones de configuración de límites para todas las instancias federadas de base de datos en el Proyecto, consulta API.
Para configurar un límite en una instancia federada de base de datos en un Proyecto, especifica el ID único del Proyecto y el nombre de la instancia federada de base de datos en el Proyecto. Para obtener más información sobre la sintaxis y las opciones para establecer límites en una instancia federada de base de datos en un proyecto, consulta API.
Ver límites de query
Puedes ver los límites del Proyecto y de la instancia federada de base de datos en las consultas desde Atlas CLI, API y Interfaz de Usuario de Atlas. También puede ver la cantidad de datos que Atlas Data Federation procesa por instancia por día.
Para listar los límites de query de Data Federation de tu Proyecto usando el Atlas CLI, ejecutar el siguiente comando:
atlas dataFederation queryLimits list [options]
Para devolver los detalles del límite de consulta de Data Federation que se especifica usando la Atlas CLI, ejecuta el siguiente comando:
atlas dataFederation queryLimits describe <name> [options]
Para aprender más sobre la sintaxis y los parámetros de los comandos anteriores, consulta la documentación de la CLI de Atlas para atlas dataFederation queryLimits list y atlas dataFederation queryLimits describe.
Haz clic en Manage Query Limits para ver los límites por instancia federada de base de datos y para todas las instancias federadas de base de datos en el Proyecto.
La página de Data Federation Query Limits muestra lo siguiente:
Nombre de columna | Descripción de la columna |
|---|---|
Limit for | Especifica el nombre del proyecto si el límite es para el proyecto o el nombre de la instancia federada de base de datos si el límite es para una instancia federada de base de datos. |
Data Processed / Limit | Indica la cantidad total de datos procesados por las consultas. Puedes pasar el cursor del mouse sobre los datos procesados para ver lo siguiente:
|
Limit Type | Indica el tipo de límite. El valor puede ser:
|
Terminate Queries | Indica si la bandera para finalizar las consultas en ejecución cuando Atlas Data Federation alcanza el límite está habilitada. |
Actions | Muestra las acciones que puedes realizar sobre el límite. Puedes hacer lo siguiente: |
Para recuperar los límites de consulta de la API, envíe una solicitud GET al punto final limits.
Para recuperar un límite que se aplica a todas las instancias federadas de base de datos en el Proyecto, debes especificar el ID único del Proyecto y el nombre del límite que quieres recuperar. Para obtener más información sobre la sintaxis y las opciones para recuperar un límite de proyecto, consulta la API. Para recuperar todos los límites de un Proyecto, especifica el ID único del Proyecto. Para obtener más información sobre la sintaxis y las opciones para recuperar todos los límites de instancias federadas de base de datos, consulta API.
Para recuperar un límite específico para una instancia federada de base de datos en un proyecto, especifica el ID único del proyecto, el nombre de la instancia federada de base de datos y el nombre del límite que deseas recuperar. Para obtener más información sobre la sintaxis y las opciones para recuperar un límite para una instancia de base de datos federada en un proyecto, consulta API. Para recuperar todos los límites de una instancia federada de base de datos en un Proyecto, especifica el ID único del Proyecto y el nombre de la instancia federada de base de datos. Para obtener más información sobre la sintaxis y las opciones para recuperar todos los límites de instancias federadas de base de datos, consulta API.
Editar límites de query
Puedes editar los límites del proyecto y por instancia de base de datos federada desde la Interfaz de Usuario de Atlas y API.
Realiza los cambios necesarios en lo siguiente.
Puedes modificar cualquiera de los siguientes ajustes:
Nombre de campo | Descripción |
|---|---|
Limit Amount | Especifique la cantidad de datos en
|
Terminate Queries | Activa la opción para permitir la terminación de consultas. No puede habilitar la terminación de queries para el tipo de límite Por consulta porque para este tipo de límite, Atlas Data Federation intentará terminar cada query tan pronto como alcance el límite por defecto. Si activas la terminación de consultas para cualquier otro tipo, Atlas Data Federation termina las consultas en ejecución que han alcanzado el límite. Si desactivas la terminación, Atlas Data Federation no reiniciará ninguna query terminada ni terminará cualquier nueva query o query en ejecución cuando Atlas Data Federation alcance el monto límite. En su lugar, sus consultas en ejecución podrán completarse y escanear datos adicionales. Para aprender más, vea ¿Qué sucede cuando habilita la terminación de query?. |
Para modificar los límites de consulta desde la API, envíe una solicitud PATCH al punto final limits.
Para actualizar un límite que se aplica a todas las instancias federadas de bases de datos en el proyecto, debes especificar el ID único del proyecto y el nombre del límite que deseas actualizar. Para obtener más información sobre la sintaxis y las opciones para actualizar un límite de proyecto, consulta la API.
Para actualizar un límite de una instancia federada de base de datos en un Proyecto, especifique el ID único del Proyecto, el nombre de la instancia federada de base de datos y el nombre del límite a actualizar. Para obtener más información sobre la sintaxis y las opciones para actualizar un límite para una instancia federada de base de datos en un Proyecto, consulta API.
Eliminar límites de query
Puedes eliminar un proyecto o el límite por instancia federada de base de datos desde el Atlas CLI, Atlas Interfaz de Usuario y la API.
Para remover el límite de query de Data Federation especificado de tu Proyecto utilizando la Atlas CLI, ejecutar el siguiente comando:
atlas dataFederation queryLimits delete <name> [options]
Para aprender más sobre la sintaxis del comando y los parámetros, consulta la documentación de Atlas CLI para atlas dataFederation queryLimits delete.
Para eliminar los límites de consulta de la API, envíe una solicitud DELETE al punto final limits.
Para borrar un límite que se aplica a todas las instancias federadas de base de datos en el Proyecto, debe especificar el ID único del Proyecto y el nombre del límite que desea borrar. Para aprender más sobre la sintaxis y opciones para borrar un límite de proyecto, consulta API.
Para borrar un límite para una instancia federada de base de datos en un Proyecto, especifica el ID único del Proyecto y el nombre del límite a borrar. Para aprender más sobre la sintaxis y las opciones para borrar un límite para una instancia federada de base de datos en un Proyecto, consulta API.