Atlas Stream Processing 制限

Atlas Stream Processing は、少なくとも 1 回のプロセシングのみをサポートします。

Atlas Stream Processing は水平スケーリングをサポートしていません。

Atlas Stream Processing は、parallelism 値を指定できるステージを除き、変換パイプラインステージに単一のコアを使用します。

垂直オートスケーリングを有効にする場合は、プロセッサー上か、Stream Processing ワークスペースの最大階層サイズとして maxTier を設定する必要があります。どちらも設定されていない場合、プロセッサーはエラーを返し、起動しません。

垂直オートスケーリングをトリガーするCPUとメモリのしきい値は設定できません。Atlas Stream Processingは、これらのしきい値を内部でマネージドします。

ストリーム プロセッサの state.stateSize は、そのポッドで使用可能なRAMの 80% を超えることはできません。例、8 GBのRAMを備えた SP30 階層のストリーム プロセッサの最大サイズは、6.4 GBです。いずれかのストリーム プロセッサの state.stateSize が使用可能なRAMの 80% に近づく場合は、プロセッサを停止して、より高い階層で再起動することを検討してください。ストリーム プロセッサがすでにストリーム処理ワークスペースで有効になっている最大階層で実行されている場合は、ストリーム処理ワークスペースの構成を調整して、上位階層のストリーム プロセッサを有効にすることを検討してください。

ストリーム プロセッサが 80％ の RAM のしきい値を超えると、Worker out of memory エラーで失敗します。各ストリーム プロセッサの state.stateSize 値は sp.processor.stats() コマンドで確認できます。詳しくは、「ストリーム プロセッサの統計を表示する」をご覧ください。

Atlas Stream Processing パイプラインの定義は16 MB を超えることはできません。

Only users with the Organization Stream Processing Admin, Project Owner, Project Stream Processing Owner or Atlas admin roles can use Atlas Stream Processing.

You must use mongosh version 2.3.4 or later to override an option on an existing stream processor using a mongosh method. For example, using sp.processor.start() to specify a tier for the processor you are starting.

See Develop Stream Processors to learn more about managing a stream processor using mongosh.

Atlas Stream Processing は、Atlas で利用可能な 集計パイプライン ステージ のサブセットをサポートしており、保管中のデータで実行できる操作をストリーミング データに対して多数実行できます。 サポートされている集計パイプライン ステージの完全なリストについては、ストリーム集計 のドキュメントを参照してください。

Atlas Stream Processing は集計変数$$NOW、$$CLUSTER_TIME、$$USER_ROLES、および$SEARCH_METAをサポートしていません。

Atlas Stream Processingは、$emitステージを使用して、125 MBを超えるBSONドキュメントをAWS S3バケットに書き込むことをサポートしていません。

$iceberg ステージは、partitionedBy フィールドで最大 3 つのパーティション変換をサポートします。

Apache Kafka $source ステージの場合、実行中のプロセッサの Apache Kafka トピックが $source として機能しているときにパーティションが追加されると、開始オフセットは auto_offset_reset プロパティによって決定されます。

Apache Kafka $source ステージは、Stream Processingワークスペース階層のパーティション制限の対象となります。Stream Processingワークスペース階層のパーティション制限を超えると、影響を受けるストリームプロセッサは失敗します。追加のパーティションをサポートするには、Stream Processingワークスペースをアップグレードする必要があります。

Atlas Stream Processing は、他のコンシューマーと同じコンシューマー グループ内の Apache Kafka コンシューマーへの接続をサポートしていません。Atlas Stream Processing で使用される Kafka コンシューマーが専用のコンシューマー グループで実行されるようにしてください。

Apache Kafka接続の場合、Atlas Stream Processing は現在、次のセキュリティ プロトコルのみをサポートしています。

• SASL_PLAINTEXT

• SASL_SSL

• SSL

SASLの場合、Atlas Stream Processing は次のメカニズムをサポートしています。

• PLAIN

• SCRAM-SHA-256

• SCRAM-SHA-512

• OAUTHBEARER

の場合、Atlas SSLStream Processing とのApache Kafkaシステムの相互 TLS認証用に次のアセットを提供する必要があります。

• 認証局（デフォルトのApache Kafka CA 以外を使用している場合）

• クライアントTLS 証明書

• TLS 証明書に署名するために使用される TLS キーファイル

initialSync doesn't support collections whose _id values are arrays, regular expressions, or undefined, which MongoDB doesn't support as _id values.

If your collection's _id values are default generated ObjectId values or ordered int or long values, initialSync achieves optimal performance. For other _id types, initialSync might take longer to complete because the values aren't stored in a predictable order. If the resume token is no longer on the oplog when initialSync completes, the processor enters a failed state to prevent data loss. To recover, restart the processor with resumeFromCheckpoint=false, which causes initialSync to run again. To learn more, see Checkpoints.

Atlas Stream Processing は、initialSync がコピーしている間に、新しいドキュメントをパーティションに挿入できます。拡大するパーティションに対するクエリを中断するネットワーク障害により、コレクションのコピーフェーズが長引きになる可能性があります。

initialSync コレクションのコピーまたはキャッチアップフェーズ中に変更イベントを読み込んだ場合、重複ドキュメントが挿入される可能性があります。Atlas Stream Processing の 1 回以上のプロセシング保証は、この動作を対象としています。コレクションの _id の値が ObjectId の値でない場合、または順序付きの int の値または long の値でない場合は、コレクションのコピーフェーズが長く実行するため、より多くの変更イベントにまたがるため、重複が発生しやすくなります。

Atlas Stream Processing は、次の構成を持つプロセッサーのみフェイルオーバー プロセッサーをサポートします。

• Atlas ソースとシンク

• Atlas ソースと Apache Kafka シンク

Atlas Stream Processing は、階層 SP10 以上のプロセッサーのみフェイルオーバープロセッサーをサポートします。

Stream Processing ワークスペースでは、最大 2 つまでのフェイルオーバー リージョンを設定できます。フェイルオーバーリージョンは、Stream Processing ワークスペースのデフォルトリージョンと同じクラウドプロバイダーを使用する必要があります。Atlas Stream Processing はクロスクラウド フェイルオーバーをサポートしていません。

フェイルオーバープロセッサーで構成されたプロセッサーの場合、いつでもアクティブにできるプロセッサーは 1 つだけです。アクティブなプロセッサーのみを編集できます。