Las operaciones de agregación con el comando aggregate presentan las siguientes limitaciones.
Restricciones del tamaño de los resultados
El comando aggregate puede devolver un cursor o almacenar los resultados en una colección. Cada documento en el conjunto de resultados está sujeto al 16 límite de tamaño de documento BSON de mebibytes. Si algún documento supera el límite de tamaño del documento BSON, la agregación produce un error. El límite solo se aplica a los documentos devueltos. Durante el Procesamiento de la pipeline, los documentos pueden exceder este tamaño. El db.collection.aggregate() método devuelve un cursor por defecto.
Restricciones en el número de etapas
MongoDB limita el número de etapas de la canalización de agregación permitidas en un solo pipeline a 1000.
Si un pipeline de agregación supera el límite de etapa antes o después de ser analizada, se recibe un error.
Restricciones de memoria
A partir de MongoDB 6.0, el parámetro allowDiskUseByDefault controla si las etapas del pipeline que requieren más de 100 megabytes de memoria para ejecutarse guardan archivos temporales en disco por defecto.
Si
allowDiskUseByDefaultse establece entrue, las etapas del pipeline que requieren más de 100 megabytes de memoria para ejecutarse guardan archivos temporales en el disco por defecto. Puedes desactivar la escritura de archivos temporales en el disco para comandos específicosfindoaggregateutilizando la opción{ allowDiskUse: false }.Si
allowDiskUseByDefaultse establece enfalse, las etapas de la pipeline que requieren más de 100 megabytes de memoria para ejecutarse generan un error por defecto. Puedes habilitar la escritura de archivos temporales en disco parafindoaggregateespecíficos usando la opción{ allowDiskUse: true }.
La $search etapa de agregación no está restringida a 100 megabytes de RAM porque se ejecuta en un proceso separado.
Estos son algunos ejemplos de las etapas que pueden guardar archivos temporales en el disco cuando allowDiskUse está en true:
$sortcuando la operación de ordenación no está soportada por un índice
Nota
Las etapas del pipeline operan en flujos de documentos, donde cada etapa del pipeline toma documentos, los procesa y luego produce los documentos resultantes.
Algunas etapas no pueden generar ningún documento hasta que hayan procesado todos los documentos entrantes. Estas etapas del pipeline deben mantener su salida en la RAM hasta que se procesen todos los documentos entrantes. Como resultado, estas etapas de la pipeline pueden requerir más espacio que el límite de 100 MB.
Si los resultados de una de las etapas del pipeline $sort exceden el límite, se debe considerar agregar una etapa $limit.
Además del límite por etapa, una sola operación no puede usar más memoria que el límite de memoria por operación.
Los mensajes de registro del Perfilador y los mensajes de registro de diagnóstico incluyen un indicador usedDisk si alguna etapa de agregación guardó datos en archivos temporales debido a restricciones de memoria.
$push Límite de memoria del acumulador
El acumulador $push no puede guardar archivos temporales en el disco. El parámetro de servidor internalQueryMaxPushBytes controla el límite de memoria $push y, si el arreglo acumulado supera ese límite, MongoDB devuelve un error incluso cuando allowDiskUse es true. Por defecto, el parámetro es 104857600 bytes (100 megabytes). Puede aumentar el límite en tiempo de ejecución con el comando setParameter, hasta un máximo de 2147483647 bytes.
Límite de memoria por operación
A partir de MongoDB 9.0, MongoDB limita la cantidad total de memoria que una sola operación de query puede utilizar. El límite se aplica a la memoria combinada de todas las etapas con seguimiento de memoria de la operación.
La memoria rastreada incluye:
Evaluación de expresiones
Etapas de ejecución de query que almacenan en búfer registros, como búsquedas de proximidad geoespacial, recuentos que utilizan un índice y actualizar
Por defecto, el límite es 1 gigabyte o el 20% de la memoria disponible para el proceso del servidor, lo que sea mayor. MongoDB establece el valor por defecto cuando se inicia el servidor.
Para cambiar el límite por operación, establezca el parámetro internalQueryMaxMemoryUsageBytesPerOperation al empresa emergente, en tiempo de ejecución o con la configuración de la query.
Para las expresiones intensivas en memoria que el límite por operación no cubre, MongoDB aplica un límite en la memoria máxima que puede utilizar un subconjunto de expresiones. El valor por defecto de este límite es de 100 megabytes. Para cambiar este límite, establezca el parámetro internalQueryMaxSingleExpressionMemoryUsageBytes al iniciar o en tiempo de ejecución.
El límite por operación es independiente del límite de memoria por etapa de 100 megabytes y no cambia cómo las etapas se desbordan en el disco. Para aprender información sobre el límite por etapa, consulte Restricciones de memoria.
Si una operación supera el límite por operación, MongoDB finaliza la operación y devuelve uno de los siguientes errores:
QueryExceededMemoryLimitNoDiskUseAllowedcuando una etapa que puede desbordarse en disco supera el límite yallowDiskUseesfalse. Ejecute la operación con{ allowDiskUse: true }para que la etapa se vuelque a disco en lugar de fallar.ExceededMemoryLimitpara otras operaciones que superen el límite.
La mayoría de las operaciones utilizan mucha menos memoria que el límite. Si una operación devuelve un error de límite de memoria, reduzca la memoria que requiere la operación realizando una o varias de las siguientes acciones:
Utilice un índice para satisfacer la ordenación para que MongoDB no ordene los documentos en la memoria. Para aprender más, consulta Uso de la ordenación y el índice.
Añada una etapa
$limitdespués de una etapa$sortpara que la clasificación conserve solo los documentos que necesita. Para aprender más, consulte $sort and $limit Memory Optimization.Filtro los documentos con
$matchlo antes posible en el pipeline para que las etapas posteriores procesen menos documentos. Para obtener más información, consulta optimización de pipeline de agregación.
Para comprobar el uso de memoria por operación, utilice estas serverStatus métricas: