各Stream Processingワークスペースは、ストリーミングデータソースまたはシンクへの構成されたすべての接続を接続レジストリに保存します。このページの手順では、Atlas Stream Processing接続の作成と構成について説明します。
Atlas Stream Processing は、Atlas Infinite クラスターと Atlas Core クラスターの両方でサポートされています。
サポートされている統合
Atlas Stream Processing 接続を構成するときは、ユースケースに適した接続タイプを選択していることを確認します。Atlas Stream Processing は次のプロバイダーをサポートしています。
プロバイダー（注を参照してください） | 説明 | 接続タイプ | 高度なネットワーキング |
|---|---|---|---|
Kafkaブロック | イベントストリームを受信して保存し、パーティション化されたトピックに整理する構成可能なサーバー。 | Private Link または VPC ピアリング。サポートは Kafka ベンダーによって異なります。 | |
Atlas クラスター | Atlas マネージド | ||
Atlas クラスター（時系列コレクション） | MongoDB 時系列コレクションは、処理されたデータの出力先として使用されます。 | Sink のみ | Atlas マネージド |
Amazon Web ServicesS3 | Amazon Web Servicesでホストされているオブジェクトストレージコンテナ。 | Sink のみ | |
Amazon Web Services Kinesis | イベントストリームを受信して保存し、さまざまな統合ツールを提供するクラウドでホストされるプラットフォーム。 | ||
Azure BLOB ストレージ | Azure上でホストされるオブジェクトストレージコンテナ。 | Sink のみ | |
Data Catalog | Apache Ops Manager テーブルのメタデータを追跡するカタログ。 Atlas Stream Processing は、 Databricks Unityカタログ と スニペット ホライゾン カタログ をサポートしています。 | $iceground ステージのみのカタログ | サポートなし |
Google Cloud パブリック/サブスクライブ | 非同期ストリーミングをサポートするGoogle Cloudのサービス。 | Sink のみ | |
HTTPS | ドキュメントが通過するたびにAPIエンドポイントを介してデータを検索するための HTTPS リクエスト 。Atlas Stream Processing はこのデータを使用して、リクエストをトリガーしたドキュメントを強化します。 | サポートなし | |
AWS Lambda | Atlas Stream Processing は、 Atlas Stream Processingパイプライン内のAmazon Web Services Lambdaリソースへの埋め込み呼び出しをサポートしています。これらの呼び出しは同期または非同期で実行でき、同期呼び出しからの応答をパイプラインの後続のステージに渡すことができます。 詳細については、「Atlas Stream Processing $externalFunction」ドキュメントを参照してください。 |
注意
AWS Kinesis と S3、Azure Blob ストレージ、Google Cloud Pub/Sub 接続には、選択したネットワークアクセス方法にかかわらず、クラウドプロバイダーのアクセス構成が必要です。
Kinesis および S3 接続の統合 Amazon Web Services アクセスを設定するには、「統合 Amazon Web Services アクセスの設定」を参照してください。
Blob ストレージ 接続の Azure サービス プリンシパル アクセスを設定するには、Azure サービス プリンシパル アクセスの設定と管理を参照してください。
Pub/Sub 接続の GCP サービス アカウント アクセスを設定するには、Google Cloud サービス アカウント アクセスの設定とマネージド を参照してください。
注意
時系列コレクションをAtlas Stream Processingのソースとして使用することはできません。時系列コレクションは変更ストリームをサポートしていません。
Tip
詳細については、時系列コレクションの制限を参照してください。
前提条件
接続を作成および構成するには、次のものが必要です。
Atlasプロジェクト
Atlas user
Project Owner接続レジストリを管理するためのProject Stream Processing Ownerまたは ロールを持つ注意
Project OwnerロールとProject Stream Processing Ownerロールの両方は、接続レジストリで接続を作成、表示、編集、削除する権限を付与しますが、Project Ownerロールでは、データベース配置の作成、プロジェクトアクセスの管理などのタスクも実行できます。これらのロールの違いについて詳しく学ぶには、「プロジェクト ロール」を参照してください。
Atlas クラスター
クロス プロジェクト接続
Atlas Stream Processing は、他のプロジェクトの Atlas クラスターへの読み取りと書き込みをサポートしています。この機能を有効にするには、次の手順に従ってください。
Atlas で、Organization Settings ページに移動します。
まだ表示されていない場合は、以下から目的の組織を選択しますナビゲーション バーのOrganizationsメニュー
サイドバーで、Organization Settings をクリックします。
[ Organization Settings ]ページが表示されます。
Enable Atlas Stream Processing Across Projectsをオンに切り替えます。
プロジェクト横断接続を作成するには、次のいずれかを行う必要があります。
Org Stream Processing Owner権限.Stream Processing Project Owner接続に参加する両方の Atlas プロジェクトの権限。
接続レジストリへの接続の追加
各 Atlas Stream Processing 接続タイプには、異なる構成要件と手順があります。詳しくは、Atlas Stream Processing 接続の追加 を参照してください。
接続レジストリでの接続の表示
Stream Processing ワークスペースへの接続を表示するには：
Atlas CLI を使用して、指定した 1 つの stream processing ワークスペースからのすべての接続を一覧表示するには、次のコマンドを実行します。
atlas streams connections list [options]Atlas CLI を使用して指定した 1 つのストリーム プロセシング接続の詳細を返すには、次のコマンドを実行します。
atlas streams connections describe <streamConnectionName> [options]前のコマンドの構文とパラメーターの詳細については、Atlas CLI ドキュメントの Atlas Streams 接続リストおよびAtlas Streams 接続の説明を参照してください。
Atlas で、プロジェクトの Stream Processing ページに移動します。
まだ表示されていない場合は、プロジェクトを含む組織をナビゲーション バーの Organizations メニューで選択します。
まだ表示されていない場合は、ナビゲーション バーの Projects メニューからプロジェクトを選択します。
サイドバーで、 Streaming Data見出しの下のStream Processingをクリックします。
Atlas Stream Processingページが表示されます。
Atlas Administration API は、接続レジストリ内の 1 つまたはすべての接続を取得するためのさまざまなエンドポイントを提供します。
mongoshを使用して利用可能なすべての接続をリストするには、sp.listConnections()メソッドを使用します。Stream Processing ワークスペースの接続レジストリ内の各接続を説明するドキュメントのリストが返されます。構文は次のとおりです。
sp.listConnections()接続レジストリからの接続の変更
接続レジストリから接続を変更するには、次の手順に従います。
Atlas CLI を使用して指定したストリーム処理ワークスペースの 1 つの接続の詳細を変更するには、次のコマンドを実行します。
atlas streams connections update <connectionName> [options]コマンド構文とパラメータの詳細については、Atlas CLI ドキュメントの Atlas Streams 接続の更新を参照してください。
Atlas で、プロジェクトの Stream Processing ページに移動します。
まだ表示されていない場合は、プロジェクトを含む組織をナビゲーション バーの Organizations メニューで選択します。
まだ表示されていない場合は、ナビゲーション バーの Projects メニューからプロジェクトを選択します。
サイドバーで、 Streaming Data見出しの下のStream Processingをクリックします。
Atlas Stream Processingページが表示されます。
Atlas Administration API は、Stream Processing ワークスペースを編集するためのエンドポイントを提供します。
接続レジストリからの接続の削除
接続レジストリから接続を削除するには、次の手順に従います。
Atlas CLI を使用して指定した stream processing ワークスペースから 1 つの接続を除くには、次のコマンドを実行します。
atlas streams connections delete <connectionName> [options]コマンド構文とパラメータの詳細については、 Atlas CLIドキュメントの「 Atlas connection delete 」を参照してください。
Atlas で、プロジェクトの Stream Processing ページに移動します。
まだ表示されていない場合は、プロジェクトを含む組織をナビゲーション バーの Organizations メニューで選択します。
まだ表示されていない場合は、ナビゲーション バーの Projects メニューからプロジェクトを選択します。
サイドバーで、 Streaming Data見出しの下のStream Processingをクリックします。
Atlas Stream Processingページが表示されます。
Atlas Administration API は、Stream Processing ワークスペースを編集するためのエンドポイントを提供します。
接続レジストリからの接続のテスト
接続レジストリからの接続が Atlas UIで正しく機能していることを確認するには、次の手順に従います。
Atlas で、プロジェクトの Stream Processing ページに移動します。
まだ表示されていない場合は、プロジェクトを含む組織をナビゲーション バーの Organizations メニューで選択します。
まだ表示されていない場合は、ナビゲーション バーの Projects メニューからプロジェクトを選択します。
サイドバーで、 Streaming Data見出しの下のStream Processingをクリックします。
Atlas Stream Processingページが表示されます。
プライベートリンク接続を一覧表示する
Atlas Administration API は、指定されたプロジェクト内の Atlas Stream Processing 用に構成されたすべての Private Link 接続を表示するためのエンドポイントを提供します。
1 つのプライベート リンク接続を表示
Atlas Administration API は、指定されたプロジェクト内の Atlas Stream Processing 用に構成された 1 つの Private Link 接続の詳細を表示するためのエンドポイントを提供します。
プライベート リンク接続の削除
Atlas Administration API は、指定されたプロジェクト内で Atlas Stream Processing 用に構成された Private Link 接続を削除するためのエンドポイントを提供します。