Limites de Pipeline de Agregação

Restrições de tamanho de resultado

O comando pode retornar um cursor ou armazenar os resultados em uma aggregate coleta. Cada documento no conjunto de resultados está sujeito ao 16 limite de tamanho de documento JSON de mebibytes. Se qualquer documento exceder o limite de Tamanho de Documento JSON, a agregação produz um erro. O limite aplica-se apenas aos documentos devolvidos. Durante o processamento do pipeline, os documentos podem exceder esse tamanho. O método retorna um cursor por db.collection.aggregate() padrão.

Restrições do número de estágios

O MongoDB limita o número de fases do pipeline de agregação permitidos em um único pipeline a 1000.

Se um pipeline de agregação exceder o limite de estágio antes ou depois de ser analisado, você receberá um erro.

Restrições de memória

A partir do MongoDB 6.0, o parâmetro allowDiskUseByDefault controla se os estágios do pipeline que exigem mais de 100 megabytes de memória para execução de arquivos de escrita temporários no disco por padrão.

• Se allowDiskUseByDefault for definido como true, os estágios do pipeline que exigem mais de 100 megabytes de memória para serem executados gravam arquivos temporários no disco por padrão. Você pode desabilitar a gravação de arquivos temporários em disco para comandos find ou aggregate específicos usando a opção { allowDiskUse: false }.

• Se allowDiskUseByDefault for definido como false, os estágios do pipeline que exigem mais de 100 megabytes de memória para serem executados geram um erro por padrão. Você pode ativar a gravação de arquivos temporários em disco para find ou aggregate específicos usando a opção { allowDiskUse: true }.

O estágio de agregação $search não está restrito a 100 megabytes de RAM porque é executado em um processo separado.

Exemplos de estágios que podem escrever arquivos temporários no disco quando o allowDiskUse é true são:

• $bucket

• $bucketAuto

• $group

• $setWindowFields

• $sort quando a operação de classificação não é suportada por um índice

• $sortByCount

Se os resultados de um dos seus $sort estágios do pipeline excederem o limite, considere adicionar um estágio $limit.

Além do limite por estágio, uma única operação não pode usar mais memória do que o limite de memória por operação.

As mensagens de registro do criador de perfil e as mensagens de registro de diagnóstico incluem um indicador usedDisk se algum estágio de agregação gravou dados em arquivos temporários devido a restrições de memória.

Limite de memória por operação

A partir do MongoDB 9.0, o MongoDB limita a quantidade total de memória que uma única operação de query pode usar. O limite se aplica à memória combinada de todos os estágios da operação monitorados pela memória.

A memória monitorada inclui:

• Estágios de bloqueio como $group e $sort

• Avaliação de expressão

• Estágios de execução de consultas que armazenam registros, como pesquisas de proximidade geoespacial, contagens que usam um índice e atualizações

Por padrão, o limite é 1 gigabyte ou 20% da memória disponível para o processo do servidor , o que for maior. O MongoDB define o padrão quando o servidor é iniciado.

O limite por operação é separado do limite de memória por estágio de 100 megabytes e não altera a forma como os estágios são transferidos para o disco. Para saber mais sobre o limite por estágio, consulte Restrições de memória.

Se uma operação exceder o limite por operação, o MongoDB encerra a operação e retorna um dos seguintes erros:

• QueryExceededMemoryLimitNoDiskUseAllowed quando um estágio que pode passar para o disco excede o limite e allowDiskUse é false. Execute a operação com { allowDiskUse: true } para que o estágio seja transferido para o disco em vez de falhar.

• ExceededMemoryLimit para outras operações que excedam o limite.

A maioria das operações usa muito menos memória do que o limite. Se uma operação retornar um erro de limite de memória, reduza a memória exigida pela operação executando uma ou mais das seguintes ações:

• Use um índice para satisfazer a classificação para que o MongoDB não classifique documentos na memória. Para saber mais, consulte Uso de classificação e indexação.

• Adicione um estágio $limit após um estágio $sort para que a classificação mantenha apenas os documentos necessários. Para saber mais, consulte Otimização de memória $sort e $limit.

• Filtre documentos com $match o mais cedo possível no pipeline para que os estágios posteriores processem menos documentos. Para saber mais, consulte Otimização de aggregation pipeline.

Para verificar o uso de memória por operação, use estas métricasserverStatus:

• metrics.query.peakMemoryUsageOperation

• metrics.query.operationsFailedDueToMemoryLimit

• metrics.query.configuredMaxMemoryUsageBytesPerOperation