Atlas Stream Processing には次の制限が適用されます。
ストリーム プロセッサの
state.stateSizeは、そのポッドで使用可能なRAMの 80% を超えることはできません。例、8 GBのRAMを備えたSP30階層のストリーム プロセッサの最大サイズは、6.4 GBです。いずれかのストリーム プロセッサのstate.stateSizeが使用可能なRAMの 80% に近づく場合は、プロセッサを停止して、より高い階層で再起動することを検討してください。ストリーム プロセッサがすでにストリーム処理ワークスペースで有効になっている最大階層で実行されている場合は、ストリーム処理ワークスペースの構成を調整して、上位階層のストリーム プロセッサを有効にすることを検討してください。ストリーム プロセッサが80 % RAM のしきい値を超えると、
stream processing workspace out of memoryエラーで失敗します。各ストリーム プロセッサのstate.stateSize値は、 コマンドで表示できます。詳しくは、「sp.processor.stats()ストリーム プロセッサの統計情報を表示する 」を参照してください。ストリーム処理ワークスペースでは、ソースまたはシンクと同じプロジェクト内のクラスターのみを使用できます。
Atlas Stream Processing パイプラインの定義は16 MB を超えることはできません。
Project OwnerまたはAtlas adminロールを持つユーザーのみが Atlas Stream Processing を使用できます。Atlas Stream Processing は現在、次の接続タイプのみをサポートしています。
接続タイプ使用法Source または Sink
Atlas Database
Source または Sink
サンプル接続
ソースのみ
Apache Kafka を$source として使用する Atlas Stream Processing の場合、実行中のプロセッサに $source として機能するApache Kafkaトピックがパーティションを追加すると、Atlas Stream Processing はパーティションを読み込まずに実行中を続行します。プロセッサは、障害後にチェックポイントから復元した後に新しいパーティションを検出するか、停止してから再起動すると失敗します。新しく追加されたパーティションを使用して、トピックから読み取るプロセッサを再作成する必要があります。
Atlas Stream Processing は現在、JSON 形式のデータのみをサポートしています。 現在、Avro やプロトコル バッファーなどの代替直列化はサポートされていません。
Apache Kafka接続の場合、Atlas Stream Processing は現在、次のセキュリティ プロトコルのみをサポートしています。
SASL_PLAINTEXTSASL_SSLSSL
SASLの場合、Atlas Stream Processing は次のメカニズムをサポートしています。PLAINSCRAM-SHA-256SCRAM-SHA-512OAUTHBEARER
の場合、Atlas
SSLStream Processing とのApache Kafkaシステムの相互 TLS認証用に次のアセットを提供する必要があります。認証局（デフォルトのApache Kafka CA 以外を使用している場合）
クライアントTLS 証明書
TLS 証明書に署名するために使用される TLS キーファイル
Atlas Stream Processing は$function JavaScript UTFをサポートしていません。
Atlas Stream Processing は、Atlas で利用可能な 集計パイプライン ステージ のサブセットをサポートしており、保管中のデータで実行できる操作をストリーミング データに対して多数実行できます。 サポートされている集計パイプライン ステージの完全なリストについては、ストリーム集計 のドキュメントを参照してください。
Atlas Stream Processing は、集計変数
$$NOW、$$CLUSTER_TIME、$$USER_ROLES、$SEARCH_METAをサポートしていません。