制限

Atlas Stream Processing には次の制限が適用されます。

Atlas Stream Processing は、少なくとも 1 回のプロセシングのみをサポートします。
Atlas Stream Processing は水平スケーリングをサポートしていません。
ストリームプロセッサの state.stateSize は、そのポッドで利用可能な RAM の 80％を超えることはできません。例えば、8GB の RAM を備えた SP30 階層のストリームプロセッサの最大サイズは 6.4GB です。ストリームプロセッサのいずれかの state.stateSize が使用可能な RAM の 80％に近づいている場合は、プロセッサを停止し、より高い階層で再起動することを検討してください。ストリームプロセッサが Stream Processing ワークスペースで有効になっている最大階層ですでに実行されている場合は、より高階層のストリームプロセッサを有効にするために Stream Processing ワークスペースの設定を調整することを検討してください。
ストリームプロセッサが 80％の RAM のしきい値を超えると、stream processing workspace out of memory エラーで失敗します。各ストリームプロセッサの state.stateSize 値は sp.processor.stats() コマンドで確認できます。詳しくは、「ストリームプロセッサの統計を表示する」をご覧ください。
Atlas Stream Processing パイプラインの定義は16 MB を超えることはできません。
Only users with the Organization Stream Processing Admin、Project Owner、Project Stream Processing Owner、または Atlas admin ロールを持つユーザーのみが使用できます。
Apache Kafkaを$sourceとして使用するAtlas Stream Processingの場合、実行中のプロセッサへのApache Kafkaトピックが$sourceとして機能し、パーティションを追加すると、Atlas Stream Processingはパーティションを読み取らずに実行を継続します。プロセッサは、障害後にチェックポイントから復元した後に新しいパーティションを検出するか、停止してから再起動すると失敗します。新しく追加されたパーティションを使用して、トピックから読み取るプロセッサを再作成する必要があります。
Apache Kafka接続の場合、Atlas Stream Processing は現在、次のセキュリティプロトコルのみをサポートしています。
- SASL_PLAINTEXT
- SASL_SSL
- SSL
SASLの場合、Atlas Stream Processing は次のメカニズムをサポートしています。
- PLAIN
- SCRAM-SHA-256
- SCRAM-SHA-512
- OAUTHBEARER
の場合、Atlas SSLStream Processing とのApache Kafkaシステムの相互 TLS認証用に次のアセットを提供する必要があります。
- 認証局（デフォルトのApache Kafka CA 以外を使用している場合）
- クライアントTLS 証明書
- TLS 証明書に署名するために使用される TLS キーファイル
Atlas Stream Processing は現在、$function JavaScript UDF を AWS上でのみサポートしています。
Atlas Stream Processing は、Atlas で利用可能な集計パイプラインステージのサブセットをサポートしており、保管中のデータで実行できる操作をストリーミングデータに対して多数実行できます。サポートされている集計パイプラインステージの完全なリストについては、ストリーム集計のドキュメントを参照してください。
Atlas Stream Processing は集計変数$$NOW、$$CLUSTER_TIME、$$USER_ROLES、および$SEARCH_METAをサポートしていません。
Atlas Stream Processing では、$emit ステージを AWS S3 バケットに使用して、125 MB より大きいBSONドキュメントの書き込みをサポートしていません。
メソッドを使用して既存のストリームプロセッサのオプションを上書きするには、mongosh バージョン2.3.4 以降を使用する必要があります。mongosh例、sp.processor.start() を使用して、起動するプロセッサの階層を指定します。
を使用してストリームプロセッサを管理する方法の詳細については、ストリームプロセッサの開発mongosh を参照してください。

戻る

モニタリング

変更履歴