Overview
Puede limitar la cantidad de datos que Atlas Data Federation procesa para sus instancias de bases de datos federadas para controlar los costos. Para limitar la cantidad de Para losdatos procesados, puede configurar límites de consultas por instancia de base de datos federada y para todas las instancias de su proyecto. Los límites de consultas que configure solo se aplican a los costos de procesamiento de datos y no a otros costos de Atlas Data Federation, como la recuperación y la transferencia de datos.
Puede configurar un límite por consulta, por día, por semana y por mes, por proyecto y por instancia de base de datos federada. Atlas Data Federation considera cada límite de cada tipo independientemente de los demás límites configurados. Si configura el mismo tipo de límite para el proyecto y para una instancia de base de datos federada del proyecto, Atlas Data Federation aplica el límite más restrictivo. Los valores límite deben estar entre 1GiB (1024^3 bytes) y 1EiB.
De forma predeterminada, Atlas Data Federation establece un límite de 100TB en la cantidad de datos procesados por mes para todas las nuevas instancias de bases de datos federadas.
Nota
Atlas Data Federation aplica el límite de proyecto por almacenamiento de objetos en la nube. Por ejemplo, supongamos que tiene 2 instancias de bases de datos federadas, una en AWS y otro en Azure. Atlas Data Federation permite escaneos de hasta 100TB por instancia de base de datos federada, lo que suma un total de 200TB para el proyecto.
¿Qué sucede cuando Atlas Data Federation alcanza el límite de datos?
Cuando la cantidad de datos procesados alcanza el límite configurado, Atlas Data Federation deja de procesar los datos de la consulta que lo ha alcanzado si el tipo de límite es por consulta. Para límites de otros tipos, Atlas Data Federation no ejecuta ninguna consulta nueva hasta que el límite se restablezca según el tipo de límite configurado. Es decir, Atlas Data Federation no ejecuta ninguna consulta nueva hasta que:
El siguiente día calendario que comienza a las
00:00UTC para el tipo de límite por día.La próxima semana
00:00del calendario que comienza el lunes a las UTC para el tipo de límite por semana.El próximo mes1
00:00calendario que comienza el primer día () del mes a las UTC para el tipo de límite por mes.
Si configura el mismo tipo de límite para el proyecto y las instancias de base de datos federada en el proyecto, pero con diferentes montos de límite para el proyecto y las instancias de base de datos federada en el proyecto, se aplicará lo siguiente:
Si Atlas Data Federation alcanza la cantidad límite del proyecto antes de alcanzar la cantidad límite para cualquier instancia de base de datos federada en el proyecto, Atlas Data Federation permite que se completen todas las consultas en ejecución en todas las instancias de base de datos federada en el proyecto.
Si Atlas Data Federation no alcanza el límite del proyecto, pero sí el establecido para cualquier instancia de base de datos federada, permite que se completen todas las consultas en ejecución en esa instancia, pero no ejecuta nuevas consultas. Continúa ejecutando consultas en otras instancias del proyecto hasta alcanzar el límite. Cuando alcanza el límite del proyecto, permite que se completen todas las consultas en ejecución en todas las instancias de base de datos federada, pero no ejecuta nuevas consultas en ninguna instancia.
Atlas Data Federation muestra una advertencia en la Interfaz de Usuario de Atlas cuando Atlas Data Federation alcanza el límite de procesamiento de datos. Además, puedes configurar Atlas Data Federation para terminar queries que superen el límite ASAP cuando Atlas Data Federation alcance el límite en vez de permitir que las queries en ejecución terminen.
¿Qué sucede cuando se habilita la terminación de consultas?
Si configura Atlas Data Federation para finalizar las consultas que superen el límite, intentará finalizarlas cuando alcance dicho límite. Aunque intente finalizar la consulta, podría superarlo ligeramente. Atlas Data Federation no devuelve ningún resultado, solo un error. Sin embargo, se aplicarán cargos por procesamiento de datos por la cantidad de datos que Atlas Data Federation procesó antes de alcanzar el límite.
Si configura el mismo tipo de límite para las instancias del proyecto y de la base de datos federada en el proyecto, pero con diferentes montos de límite y configuraciones de finalización de consulta, Atlas Data Federation finalizará la consulta solo cuando la cantidad de datos que procesa Atlas Data Federation alcance el monto de límite que usted asoció con la finalización de la consulta.
Ejemplo
Supongamos un límite de 100 proyecto de GB por semana con la terminación habilitada y un 60 límite de instancia de base de datos federada de GB por semana con la terminación deshabilitada.
Cuando una o más consultas a la instancia de base de datos federada alcanzan el límite de 60 GB, Atlas Data Federation finaliza todas las consultas en ejecución y no ejecuta nuevas consultas. Atlas Data Federation continúa ejecutando todas las consultas, tanto las que se están ejecutando como las nuevas, a otras instancias de base de datos federada del proyecto hasta que Atlas Data Federation alcanza el límite de 100 GB.
Cuando una o más consultas alcanzan el límite de 100 GB para el proyecto, Atlas Data Federation no ejecuta ninguna consulta nueva y finaliza todas las consultas en todas las instancias de base de datos federadas del proyecto.
Acceso requerido
Para Para agregar, editar o eliminar límites de consulta, debe Project Owner tener acceso al proyecto. Los usuarios con Organization Owner acceso deben agregarse como al Project Owner proyecto antes de agregar, editar o eliminar límites de consulta.
Para ver los límites de las consultas, debe tener acceso al proyecto o Project Read Only superior.
Procedimientos
Agregar límites de consulta
Puede configurar límites en la cantidad de datos procesados para sus consultas desde la CLI de Atlas, la UI de Atlas y la API.
Para crear un nuevo límite de consulta de federación de datos mediante la CLI de Atlas, ejecute el siguiente comando:
atlas dataFederation queryLimits create <name> [options]
Para obtener más información sobre la sintaxis y los parámetros del comando, consulte la documentación de la CLI de Atlas para atlas dataFederation queryLimits create.
Haga clic Manage Query Limits para configurar límites por instancia de base de datos federada o para todas las instancias de base de datos federada en el proyecto.
Puede configurar límites para el Proyecto y por instancia federada de base de datos. Los límites de queries a nivel de Proyecto se aplican a todas las instancias federadas de base de datos en el Proyecto, lo que impide nuevas queries a cualquier instancia federada de base de datos cuando la cantidad de datos procesados alcanza el límite. Los límites de query en una instancia federada de base de datos se aplican únicamente a esa instancia federada de base de datos, y Atlas Data Federation no ejecutará nuevas query en esa instancia cuando la cantidad de datos procesados alcance el límite. También puede, de forma opcional, habilitar la terminación de consultas cuando Atlas Data Federation alcance el límite configurado.
Haga clic Add Query Limit en para configurar el límite.
Puede configurar los siguientes campos en la ventana Add Query Limit:
Nombre de campo | Descripción |
|---|---|
Limit For | Especifique si el límite corresponde a un proyecto o a una instancia de base de datos federada. Haga clic en el menú desplegable y seleccione el proyecto o la instancia de base de datos federada a la que se aplicará el límite. Una vez agregado el límite, no podrá modificar esta configuración. |
Limit Type | Especifique la duración del límite. Haga clic en el menú desplegable para elegir una de las siguientes opciones:
Después de agregar el límite, no podrá modificar esta configuración. |
Limit Amount | Especifique la cantidad de datos en |
Terminate Queries | Active esta opción para habilitar la finalización de consultas. No se puede habilitar la finalización de consultas para el tipo de límite por consulta porque, de forma predeterminada, Atlas Data Federation finaliza la consulta cuando alcanza el límite para este tipo. |
Haga clic Add Query Limit en para que los cambios surtan efecto.
Para los límites de tipo Per query, los cambios surten efecto inmediatamente y Atlas Data Federation aplica el límite solo a todas las consultas nuevas. Para los límites de otros tipos, se aplica lo siguiente:
Per day - Los cambios surten efecto al inicio del lunes de la semana actual en hora UTC.
Per week - Los cambios surten efecto al inicio del lunes de la semana actual en hora UTC.
Per month - Los cambios entran en vigor el primer día, el comienzo del período de facturación mensual, para el proyecto en hora UTC.
Para configurar los límites de consulta desde la API, envíe una POST solicitud al limits punto final.
Para configurar un límite que se aplique a todas las instancias de bases de datos federadas del proyecto, debe especificar el ID único del proyecto y el nombre del límite que desea establecer. Para obtener más información sobre la sintaxis y las opciones para establecer límites para todas las instancias de bases de datos federadas del proyecto, consulte la API.
Para configurar un límite para una instancia de base de datos federada en un proyecto, especifique el ID único del proyecto y el nombre de la instancia. Para obtener más información sobre la sintaxis y las opciones para establecer límites para una instancia de base de datos federada en un proyecto, consulte la API.
Ver límites de consultas
Puede ver los límites del proyecto y de las instancias de base de datos federada en las consultas desde la CLI de Atlas, la interfaz de usuario de Atlas y la API. También puede ver la cantidad de datos que Atlas Data Federation procesó por instancia al día.
Para enumerar los límites de consulta de federación de datos para su proyecto mediante la CLI de Atlas, ejecute el siguiente comando:
atlas dataFederation queryLimits list [options]
Para devolver los detalles del límite de consulta de Federación de datos que especifique mediante la CLI de Atlas, ejecute el siguiente comando:
atlas dataFederation queryLimits describe <name> [options]
Para obtener más información sobre la sintaxis y los parámetros de los comandos anteriores, consulte la documentación de la CLI de Atlas para atlas dataFederation queryLimits list y atlas dataFederation queryLimits describe.
Haga Manage Query Limits clic en para ver los límites por instancia de base de datos federada y para todas las instancias de base de datos federada en el proyecto.
La página Data Federation Query Limits muestra lo siguiente:
Nombre de columna | Descripción de la columna |
|---|---|
Limit for | Especifica el nombre del proyecto si el límite es para el proyecto o el nombre de la instancia de base de datos federada si el límite es para una instancia de base de datos federada. |
Data Processed / Limit | Indica la cantidad total de datos procesados por las consultas. Puede pasar el cursor sobre los datos procesados para ver lo siguiente:
|
Limit Type | Indica el tipo de límite. El valor puede ser:
|
Terminate Queries | Indica si está habilitada la opción para finalizar las consultas en ejecución cuando Atlas Data Federation alcanza el límite. |
Actions | Muestra las acciones que puedes realizar con el límite. Puedes hacer lo siguiente: |
Para recuperar los límites de consulta de la API, envíe una GET solicitud al limits punto final.
Para recuperar un límite que se aplique a todas las instancias de bases de datos federadas del proyecto, debe especificar el ID único del proyecto y el nombre del límite que desea recuperar. Para obtener más información sobre la sintaxis y las opciones para recuperar un límite de proyecto, consulte la API. Para recuperar todos los límites de un proyecto, especifique el ID único del proyecto. Para obtener más información sobre la sintaxis y las opciones para recuperar todos los límites de las instancias de bases de datos federadas, consulte la API.
Para recuperar un límite para una instancia de base de datos federada en un proyecto, especifique el ID único del proyecto, el nombre de la instancia y el nombre del límite que se recuperará. Para obtener más información sobre la sintaxis y las opciones para recuperar un límite para una instancia de base de datos federada en un proyecto, consulte la API. Para recuperar todos los límites de una instancia de base de datos federada en un proyecto, especifique el ID único del proyecto y el nombre de la instancia. Para obtener más información sobre la sintaxis y las opciones para recuperar todos los límites de las instancias de base de datos federada, consulte la API.
Editar límites de query
Puede editar el proyecto y los límites por instancia de base de datos federada desde la interfaz de usuario y la API de Atlas.
Realice los cambios necesarios en lo siguiente.
Puede modificar cualquiera de las siguientes configuraciones:
Nombre de campo | Descripción |
|---|---|
Limit Amount | Especifique la cantidad de datos en
|
Terminate Queries | Active esta opción para habilitar la finalización de consultas. No se puede habilitar la finalización de consultas para el tipo de límite "Por consulta", ya que, de forma predeterminada, Atlas Data Federation intentará finalizar cada consulta en cuanto alcance el límite. Si habilita la finalización de consultas para cualquier otro tipo, Atlas Data Federation finalizará las consultas en ejecución que hayan alcanzado el límite. Si deshabilita la finalización, Atlas Data Federation no reiniciará ninguna consulta finalizada ni finalizará ninguna consulta nueva o en ejecución cuando Atlas Data Federation alcance el límite. En su lugar, las consultas en ejecución podrán finalizar y analizar datos adicionales. Para obtener más información, vea ¿Qué sucede cuando habilita la terminación de query? |
Para modificar los límites de consulta desde la API, envíe una PATCH solicitud al limits punto final.
Para actualizar un límite que se aplique a todas las instancias de bases de datos federadas del proyecto, debe especificar el ID único del proyecto y el nombre del límite que desea actualizar. Para obtener más información sobre la sintaxis y las opciones para actualizar un límite de proyecto, consulte la API.
Para actualizar un límite para una instancia de base de datos federada en un proyecto, especifique el ID único del proyecto, el nombre de la instancia y el nombre del límite que se va a actualizar. Para obtener más información sobre la sintaxis y las opciones para actualizar un límite para una instancia de base de datos federada en un proyecto, consulte la API.
Eliminar límites de consultas
Puede eliminar un proyecto o un límite por instancia de base de datos federada desde la CLI de Atlas, la UI de Atlas y la API.
Para eliminar el límite de consultas de federación de datos especificado de su proyecto mediante la CLI de Atlas, ejecute el siguiente comando:
atlas dataFederation queryLimits delete <name> [options]
Para obtener más información sobre la sintaxis y los parámetros del comando, consulte la documentación de Atlas CLI para atlas dataFederation queryLimits delete.
Para eliminar los límites de consulta de la API, envíe una DELETE solicitud al punto limits final.
Para eliminar un límite que se aplique a todas las instancias de bases de datos federadas del proyecto, debe especificar el ID único del proyecto y el nombre del límite que desea eliminar. Para obtener más información sobre la sintaxis y las opciones para eliminar un límite de proyecto, consulte la API.
Para eliminar un límite para una instancia de base de datos federada en un proyecto, especifique el ID único del proyecto y el nombre del límite que desea eliminar. Para obtener más información sobre la sintaxis y las opciones para eliminar un límite para una instancia de base de datos federada en un proyecto, consulte la API.