AI エージェント向け: ドキュメントインデックスは https://www.mongodb.com/ja-jp/docs/llms.txt で利用できます。すべてのページの markdown バージョンは、いずれかの URL パスに .md を追加することで利用できます。

集計パイプラインの制限

aggregateコマンドを使用した集計操作には次の制限があります。

コマンドは、カーソルを返すか、結果をコレクションに保存できますaggregate 。結果セット内の各ドキュメントには、16 メビバイトのBSONドキュメント サイズ の制限 が適用されます。いずれかのドキュメントがBSONドキュメント サイズ の制限を超えると、集計でエラーが発生します。この制限は、戻されたドキュメントにのみ適用されます。 パイプライン処理中に、ドキュメントがこのサイズを超える場合があります。 db.collection.aggregate()メソッドはデフォルトでカーソルを返します。

MongoDBは、単一のパイプラインで許可される集計パイプラインステージの数を 1000 に制限します。

集計パイプラインが解析される前または解析された後に ステージの制限を超えると、エラーが発生します。

MongoDB 6.0 以降のバージョンでは、実行に 100 MB を超えるメモリを必要とするパイプライン ステージが、デフォルトで一時ファイルをディスクに書き込むかどうかをallowDiskUseByDefaultパラメーターが制御します。

  • allowDiskUseByDefaultがtrueに設定されている場合、実行に 100 MB を超えるメモリを必要とするパイプライン ステージは、デフォルトで一時ファイルをディスクに書き込みます。{ allowDiskUse: false }オプションを使用して、特定のfindまたはaggregateコマンドの一時ファイルのディスクへの書き込みを無効にすることができます。

  • allowDiskUseByDefaultがfalseに設定されている場合、実行に 100 MB を超えるメモリを必要とするパイプライン ステージでは、デフォルトでエラーが発生します。{ allowDiskUse: true }オプションを使用して、特定のfindまたはaggregateの一時ファイルのディスクへの書き込みを有効にすることができます。

$search 集計ステージは別のプロセスで実行されるため、 RAM の 100 メガバイトに制限されません。

allowDiskUse が true の場合に一時ファイルをディスクに書き込むことができるステージの例は次のとおりです。

注意

パイプライン ステージはドキュメントのストリームに対して動作し、各パイプライン ステージはドキュメントを取り込んで処理し、その結果となるドキュメントを出力します。

一部のステージでは、受信したドキュメントをすべて処理するまでドキュメントを出力できません。これらのパイプライン ステージは、すべての受信ドキュメントが処理されるまで、ステージ出力を RAM に保持する必要があります。その結果、これらのパイプライン ステージでは 100 MB の制限を超えるスペースが必要になる場合があります。

$sortパイプライン ステージのいずれかの結果が制限を超える場合は、$limit ステージの追加を検討してください。

ステージごとの制限に加えて、単一の操作で使用できるメモリは操作ごとのメモリ制限を超えてはなりません。

プロファイラーのログ メッセージと診断ログ メッセージには、メモリの制限により集計ステージが一時ファイルにデータが書き込まれた場合、usedDisk インジケーターが含められます。

$push アキュムレータは、一時ファイルをディスクに書き込み (write)ことができません。internalQueryMaxPushBytes サーバーパラメータは $push メモリ制限を制御します。蓄積された配列がその制限を超えると、allowDiskUse が true であっても、MongoDB はエラーを返します。デフォルトでは、パラメータは 104857600 バイト (100 メガバイト) です。setParameter コマンドを使用して、実行時に制限を最大 2147483647 バイトまで引き上げることができます。

MongoDB 9.0 以降、MongoDB は、単一のクエリ操作が使用できるメモリの総量を制限します。この制限は、操作のメモリ追跡対象となるすべてのステージの合計メモリに適用されます。

追跡されるメモリには、以下が含まれます。

  • $group や $sort などのブロッキングステージ

  • 式の評価

  • 地理空間近接検索、インデックスを使用するカウント、更新など、レコードをバッファリングするクエリ実行ステージ

120デフォルトでは、制限は1ギガバイトまたはサーバープロセスが利用可能なメモリの1%のいずれか大きい方です。MongoDBは、サーバーの起動時にデフォルトを設定します。

操作ごとの制限を変更するには、スタートアップ時、実行時、またはクエリ設定で internalQueryMaxMemoryUsageBytesPerOperation パラメータを設定します。

操作ごとの制限の対象外となるメモリ集約型の式に対して、MongoDBは式のサブセットが使用できる最大メモリに制限を適用します。この制限のデフォルトは100メガバイトです。この制限を変更するには、スタートアップ時または実行時にinternalQueryMaxSingleExpressionMemoryUsageBytesパラメータを設定します。

操作ごとの制限は、100 メガバイトのステージごとのメモリ制限とは別であり、ステージがディスクにスピルする方法は変わりません。ステージごとの制限について学ぶには、メモリ制限を参照してください。

操作が操作ごとの制限を超えた場合、MongoDBはその操作を終了し、次のいずれかのエラーを返します。

  • ディスクへのスピルが可能なステージが制限を超え、かつ allowDiskUse が false である場合に QueryExceededMemoryLimitNoDiskUseAllowed します。失敗する代わりにステージがディスクにスピルされるように、{ allowDiskUse: true } を指定して操作を実行します。

  • ExceededMemoryLimit 制限を超えるその他の操作については、

ほとんどの操作は、制限よりもはるかに少ないメモリを使用します。操作がメモリ制限エラーを返した場合は、次のアクションの1つ以上を実行して、操作に必要なメモリを削減してください。

  • MongoDBがメモリ内でドキュメントをソートしないように、インデックスを使用してソートを実行します。詳細については、「ソートとインデックスの使用」を参照してください。

  • $limitステージの後に$sort ステージを追加して、ソートによって必要なドキュメントのみが保持されるようにします。詳しく学ぶには、「$sort と $limit のメモリ最適化」を参照してください。

  • パイプラインの早い段階で $match を使用してドキュメントをフィルター処理することで、後のステージで処理するドキュメントの数を減らすことができます。さらに学ぶには、集計パイプラインの最適化を参照してください。

操作ごとのメモリ使用量を確認するには、次のserverStatusメトリクスを使用します。