Overview
Puedes limitar la cantidad de datos que Atlas Data Federation procesa para tus instancias federadas de base de datos para controlar costos. Para limitar la cantidad de datos procesados, puedes configurar límites de queries por cada instancia federada de base de datos y para todas las instancias federadas de base de datos en tu proyecto. Los límites de query que configures sólo se aplican a los costos de procesamiento de datos y no se aplican a otros costos de Atlas Data Federation como la recuperación y transferencia de datos.
Puedes configurar un límite por query, por día, por semana y por mes por proyecto y por instancia de base de datos federada. Atlas Data Federation considera cada límite de cada tipo como independiente de otros límites configurados. Si configuras el mismo tipo de límite para el Proyecto y para una instancia federada de base de datos dentro del Proyecto, Atlas Data Federation hará cumplir el límite más restrictivo de los dos. Los valores límite deben estar entre 1GiB (1024^3 bytes) y 1EiB.
Por defecto, Atlas Data Federation establece un límite de 100 TB en la cantidad de datos procesados por mes para todas las instancias federadas de bases de datos nuevas.
Nota
Atlas Data Federation aplica el límite de proyecto por almacenamiento de objetos en la nube. Por ejemplo, supongamos que tiene 2 instancias de bases de datos federadas, una en AWS y otro en Azure. Atlas Data Federation permite análisis de hasta 100TB por cada instancia federada de base de datos, para un total de 200TB en el proyecto.
¿Qué sucede cuando la Federación de Datos de Atlas alcanza el límite de datos?
Cuando la cantidad de datos procesados alcanza el monto límite configurado, Atlas Data Federation deja de procesar datos para la query que ha alcanzado el límite si el tipo de límite es por query. Para los límites de otros tipos, Atlas Data Federation no ejecuta ninguna nueva consulta hasta que el límite se restablece según el tipo de límite configurado. Es decir, Atlas Data Federation no ejecuta ninguna query nueva hasta:
El siguiente día calendario que comienza a
00:00UTC para el tipo de límite de por día.La próxima semana del calendario comienza el lunes a las
00:00UTC para el tipo de límite de por semana.El siguiente mes calendario comienza el primer día (1) del mes a las
00:00UTC para el tipo de límite de por mes.
Si configuras el mismo tipo de límite para tanto el Proyecto como las instancias federadas de base de datos en el Proyecto, pero con diferentes cantidades de límite para el Proyecto y las instancias federadas de base de datos en el Proyecto, se aplican los siguientes casos:
Si Atlas Data Federation alcanza el monto límite del Proyecto antes de alcanzar el monto límite para cualquier instancia federada de base de datos en el Proyecto, Atlas Data Federation permite que todas las consultas en ejecución contra todas las instancias federadas de base de datos en el Proyecto se completen.
Si Atlas Data Federation no alcanza el monto límite para el proyecto, pero alcanza el monto límite establecido para cualquier instancia de base de datos federada en el proyecto, Atlas Data Federation permite que todas las queries en curso contra esa instancia de base de datos federada se completen, pero no ejecuta ninguna nueva query contra esa instancia de base de datos federada. Atlas Data Federation continúa ejecutando queries en otras instancias federadas de base de datos en el Proyecto hasta alcanzar el monto límite establecido para el Proyecto. Cuando Atlas Data Federation alcanza el límite de proyecto, permite que se completen todas las queries en curso en todas las instancias federadas de base de datos del proyecto, pero no ejecuta queries nuevas en instancias federadas de base de datos.
Atlas Data Federation muestra una advertencia en la Interfaz de Usuario de Atlas cuando Atlas Data Federation alcanza el límite de procesamiento de datos. Además, puedes configurar Atlas Data Federation para terminar queries que superen el límite ASAP cuando Atlas Data Federation alcance el límite en vez de permitir que las queries en ejecución terminen.
¿Qué sucede al habilitar la terminación de consultas?
Si configura Atlas Data Federation para finalizar las consultas que superen el límite, intentará finalizarlas cuando alcance dicho límite. Aunque intente finalizar la consulta, podría superarlo ligeramente. Atlas Data Federation no devuelve ningún resultado, solo un error. Sin embargo, se aplicarán cargos por procesamiento de datos por la cantidad de datos que Atlas Data Federation procesó antes de alcanzar el límite.
Si configura el mismo tipo de límite tanto para el Proyecto como para las instancias de base de datos federada en el Proyecto, pero con diferentes cantidades de límites y configuraciones de terminación de queries, Atlas Data Federation terminará la query solo cuando la cantidad de datos que Atlas Data Federation procese alcance la cantidad de límite que usted asoció con la terminación de queries.
Ejemplo
Supongamos un límite de proyecto de 100 GB por semana con finalización habilitada y un límite de instancia de base de datos federada de 60 GB por semana con finalización deshabilitada.
Cuando una o más consultas contra la instancia federada de base de datos alcanzan el límite de 60 GB, Atlas Data Federation termina todas las consultas en ejecución contra la instancia federada de base de datos y no ejecuta nuevas consultas. Atlas Data Federation continúa ejecutando todas las consultas en ejecución y nuevas en otras instancias federadas de bases de datos en el proyecto hasta que Atlas Data Federation alcance el límite del proyecto de 100 GB.
Cuando una o más consultas alcanzan el límite de 100 GB para el proyecto, Atlas Data Federation no ejecuta ninguna consulta nueva y finaliza todas las consultas en todas las instancias de base de datos federadas del proyecto.
Acceso requerido
Para Para agregar, editar o eliminar límites de consulta, debe Project Owner tener acceso al proyecto. Los usuarios con Organization Owner acceso deben agregarse como al Project Owner proyecto antes de agregar, editar o eliminar límites de consulta.
Para ver los límites de las queries, debes tener acceso Project Read Only al Proyecto o superior.
Procedimientos
Agregar límites de query
Puede configurar límites en la cantidad de datos procesados para sus consultas desde la CLI de Atlas, la UI de Atlas y la API.
Para crear un nuevo límite de consulta de federación de datos mediante la CLI de Atlas, ejecute el siguiente comando:
atlas dataFederation queryLimits create <name> [options]
Para aprender más sobre la sintaxis del comando y los parámetros, consulta la documentación de Atlas CLI para atlas dataFederation queryLimits create.
Haga clic Manage Query Limits para configurar límites por instancia de base de datos federada o para todas las instancias de base de datos federada en el proyecto.
Puede configurar límites para el Proyecto y por instancia federada de base de datos. Los límites de queries a nivel de Proyecto se aplican a todas las instancias federadas de base de datos en el Proyecto, lo que impide nuevas queries a cualquier instancia federada de base de datos cuando la cantidad de datos procesados alcanza el límite. Los límites de query en una instancia federada de base de datos se aplican únicamente a esa instancia federada de base de datos, y Atlas Data Federation no ejecutará nuevas query en esa instancia cuando la cantidad de datos procesados alcance el límite. También puede, de forma opcional, habilitar la terminación de consultas cuando Atlas Data Federation alcance el límite configurado.
Haga clic Add Query Limit en para configurar el límite.
Puedes configurar los siguientes campos en la ventana Add Query Limit:
Nombre de campo | Descripción |
|---|---|
Limit For | Especifique si el límite es para una instancia federada de base de datos o para un Proyecto. Haga clic en el menú desplegable y seleccione el Proyecto o la instancia federada de base de datos al que desea aplicar el límite. Una vez que agregue el límite, no podrá modificar esta configuración. |
Limit Type | Especifique la duración del límite. Haz clic en el menú desplegable para elegir una de las siguientes opciones:
Una vez que agregues el límite, no podrás modificar esta configuración. |
Limit Amount | Especificar la cantidad de datos en |
Terminate Queries | Activa para habilitar la terminación de queries. No puedes habilitar la terminación de querys para el tipo de límite Por query porque, por defecto, Atlas Data Federation termina la query cuando alcanza el límite para este tipo de límite. |
Haz clic en Add Query Limit para que los cambios surtan efecto.
Para los límites de tipo Per query, los cambios surten efecto de inmediato y Atlas Data Federation solo aplica el límite para todas las nuevas consultas. Para límites de otros tipos, se aplican los siguientes:
Per day - Los cambios surten efecto al inicio del lunes de la semana actual en hora UTC.
Per week - Los cambios surten efecto al inicio del lunes de la semana actual en hora UTC.
Per month - Los cambios entrarán en vigor el primer día, es decir, el inicio del período de facturación mensual, para el proyecto en UTC.
Para configurar los límites de las consultas desde la API, envía una solicitud POST al endpoint limits.
Para configurar un límite que se aplique a todas las instancias federadas de base de datos en el proyecto, debes especificar el ID único del proyecto y el nombre del límite a establecer. Para saber más sobre la sintaxis y las opciones de configuración de límites para todas las instancias federadas de base de datos en el Proyecto, consulta API.
Para configurar un límite en una instancia federada de base de datos en un Proyecto, especifica el ID único del Proyecto y el nombre de la instancia federada de base de datos en el Proyecto. Para obtener más información sobre la sintaxis y las opciones para establecer límites en una instancia federada de base de datos en un proyecto, consulta API.
Ver límites de consultas
Puedes ver los límites del Proyecto y de instancia federada de base de datos en las consultas de Atlas CLI, Atlas UI y la API. También puedes ver la cantidad de datos que Atlas Data Federation procesó por instancia por día.
Para listar los límites de query de Data Federation de tu Proyecto usando el Atlas CLI, ejecutar el siguiente comando:
atlas dataFederation queryLimits list [options]
Para devolver los detalles del límite de consulta de Data Federation que se especifica usando la Atlas CLI, ejecuta el siguiente comando:
atlas dataFederation queryLimits describe <name> [options]
Para aprender más sobre la sintaxis y los parámetros de los comandos anteriores, consulta la documentación de la CLI de Atlas para atlas dataFederation queryLimits list y atlas dataFederation queryLimits describe.
Haz clic en Manage Query Limits para ver los límites por instancia federada de base de datos y para todas las instancias federadas de base de datos en el Proyecto.
La página de Data Federation Query Limits muestra lo siguiente:
Nombre de columna | Descripción de la columna |
|---|---|
Limit for | Especifica el nombre del proyecto si el límite es para el proyecto o el nombre de la instancia federada de base de datos si el límite es para una instancia federada de base de datos. |
Data Processed / Limit | Indica la cantidad total de datos procesados por las consultas. Puedes pasar el cursor del mouse sobre los datos procesados para ver lo siguiente:
|
Limit Type | Indica el tipo de límite. El valor puede ser:
|
Terminate Queries | Indica si la bandera para finalizar las consultas en ejecución cuando Atlas Data Federation alcanza el límite está habilitada. |
Actions | Muestra las acciones que puedes realizar sobre el límite. Puedes hacer lo siguiente: |
Para recuperar los límites de query de la API, envía una solicitud GET al endpoint limits.
Para recuperar un límite que se aplica a todas las instancias federadas de base de datos en el Proyecto, debes especificar el ID único del Proyecto y el nombre del límite que quieres recuperar. Para obtener más información sobre la sintaxis y las opciones para recuperar un límite de proyecto, consulta la API. Para recuperar todos los límites de un Proyecto, especifica el ID único del Proyecto. Para obtener más información sobre la sintaxis y las opciones para recuperar todos los límites de instancias federadas de base de datos, consulta API.
Para recuperar un límite específico para una instancia federada de base de datos en un proyecto, especifica el ID único del proyecto, el nombre de la instancia federada de base de datos y el nombre del límite que deseas recuperar. Para obtener más información sobre la sintaxis y las opciones para recuperar un límite para una instancia de base de datos federada en un proyecto, consulta API. Para recuperar todos los límites de una instancia federada de base de datos en un Proyecto, especifica el ID único del Proyecto y el nombre de la instancia federada de base de datos. Para obtener más información sobre la sintaxis y las opciones para recuperar todos los límites de instancias federadas de base de datos, consulta API.
Editar límites de query
Puede editar el proyecto y los límites por instancia de base de datos federada desde la interfaz de usuario y la API de Atlas.
Realiza los cambios necesarios en lo siguiente.
Puedes modificar cualquiera de los siguientes ajustes:
Nombre de campo | Descripción |
|---|---|
Limit Amount | Especifique la cantidad de datos en
|
Terminate Queries | Active esta opción para habilitar la finalización de consultas. No se puede habilitar la finalización de consultas para el tipo de límite "Por consulta", ya que, de forma predeterminada, Atlas Data Federation intentará finalizar cada consulta en cuanto alcance el límite. Si habilita la finalización de consultas para cualquier otro tipo, Atlas Data Federation finalizará las consultas en ejecución que hayan alcanzado el límite. Si deshabilita la finalización, Atlas Data Federation no reiniciará ninguna consulta finalizada ni finalizará ninguna consulta nueva o en ejecución cuando Atlas Data Federation alcance el límite. En su lugar, las consultas en ejecución podrán finalizar y analizar datos adicionales. Para obtener más información, vea ¿Qué sucede cuando habilita la terminación de query? |
Para modificar los límites de consulta desde la API, envíe una PATCH solicitud al limits punto final.
Para actualizar un límite que se aplica a todas las instancias federadas de bases de datos en el proyecto, debes especificar el ID único del proyecto y el nombre del límite que deseas actualizar. Para obtener más información sobre la sintaxis y las opciones para actualizar un límite de proyecto, consulta la API.
Para actualizar un límite de una instancia federada de base de datos en un Proyecto, especifique el ID único del Proyecto, el nombre de la instancia federada de base de datos y el nombre del límite a actualizar. Para obtener más información sobre la sintaxis y las opciones para actualizar un límite para una instancia federada de base de datos en un Proyecto, consulta API.
Eliminar límites de query
Puedes borrar un Proyecto o por el límite de instancia federada de base de datos desde la Atlas CLI, Atlas UI y la API.
Para remover el límite de query de Data Federation especificado de tu Proyecto utilizando la Atlas CLI, ejecutar el siguiente comando:
atlas dataFederation queryLimits delete <name> [options]
Para aprender más sobre la sintaxis del comando y los parámetros, consulta la documentación de Atlas CLI para atlas dataFederation queryLimits delete.
Para borrar los límites de query de la API, envía una solicitud DELETE al endpoint limits.
Para borrar un límite que se aplica a todas las instancias federadas de base de datos en el Proyecto, debe especificar el ID único del Proyecto y el nombre del límite que desea borrar. Para aprender más sobre la sintaxis y opciones para borrar un límite de proyecto, consulta API.
Para borrar un límite para una instancia federada de base de datos en un Proyecto, especifica el ID único del Proyecto y el nombre del límite a borrar. Para aprender más sobre la sintaxis y las opciones para borrar un límite para una instancia federada de base de datos en un Proyecto, consulta API.