Atlas Stream Processing には次の制限が適用されます。
Atlas Stream Processing は、少なくとも 1 回のプロセシングのみをサポートします。
Atlas Stream Processing は水平スケーリングをサポートしていません。
ストリーム プロセッサの
state.stateSizeは、そのポッドで使用可能なRAMの 80% を超えることはできません。例、8 GBのRAMを備えたSP30階層のストリーム プロセッサの最大サイズは、6.4 GBです。いずれかのストリーム プロセッサのstate.stateSizeが使用可能なRAMの 80% に近づく場合は、プロセッサを停止して、より高い階層で再起動することを検討してください。ストリーム プロセッサがすでにストリーム処理ワークスペースで有効になっている最大階層で実行されている場合は、ストリーム処理ワークスペースの構成を調整して、上位階層のストリーム プロセッサを有効にすることを検討してください。ストリーム プロセッサが 80％ の RAM のしきい値を超えると、
Worker out of memoryエラーで失敗します。各ストリーム プロセッサのstate.stateSize値はsp.processor.stats()コマンドで確認できます。詳しくは、「ストリーム プロセッサの統計を表示する」をご覧ください。Atlas Stream Processing パイプラインの定義は16 MB を超えることはできません。
Atlas Stream Processing は、
Organization Stream Processing Admin、Project Owner、Project Stream Processing Owner、またはAtlas adminロールを持つユーザーのみが使用できます。Apache Kafka を$source として使用する Atlas Stream Processing の場合、実行中のプロセッサに $source として機能するApache Kafkaトピックがパーティションを追加すると、Atlas Stream Processing はパーティションを読み込まずに実行中を続行します。プロセッサは、障害後にチェックポイントから復元した後に新しいパーティションを検出するか、停止してから再起動すると失敗します。新しく追加されたパーティションを使用して、トピックから読み取るプロセッサを再作成する必要があります。
Apache Kafka接続の場合、Atlas Stream Processing は現在、次のセキュリティ プロトコルのみをサポートしています。
SASL_PLAINTEXTSASL_SSLSSL
SASLの場合、Atlas Stream Processing は次のメカニズムをサポートしています。PLAINSCRAM-SHA-256SCRAM-SHA-512OAUTHBEARER
の場合、Atlas
SSLStream Processing とのApache Kafkaシステムの相互 TLS認証用に次のアセットを提供する必要があります。認証局（デフォルトのApache Kafka CA 以外を使用している場合）
クライアントTLS 証明書
TLS 証明書に署名するために使用される TLS キーファイル
Atlas Stream Processing は、Atlas で利用可能な 集計パイプライン ステージ のサブセットをサポートしており、保管中のデータで実行できる操作をストリーミング データに対して多数実行できます。 サポートされている集計パイプライン ステージの完全なリストについては、ストリーム集計 のドキュメントを参照してください。
Atlas Stream Processing は集計変数
$$NOW、$$CLUSTER_TIME、$$USER_ROLES、および$SEARCH_METAをサポートしていません。Atlas Stream Processing では、$emit ステージを AWS S3 バケットに使用して、
125 MBより大きいBSONドキュメントの書き込みをサポートしていません。メソッドを使用して既存のストリーム プロセッサのオプションを上書きするには、
mongoshバージョン2.3.4 以降を使用する必要があります。mongosh例、sp.processor.start()を使用して、起動するプロセッサの階層を指定します。を使用してストリーム プロセッサを管理する方法の詳細については、 ストリーム プロセッサの開発
mongoshを参照してください。