/ /

HTTP URL

Atlas Data Federation は、フェデレーティッドデータベースインスタンスストアとして一般にアクセス可能な URLをサポートします。データに対してクエリを実行するには、フェデレーティッドデータベースインスタンスでHTTPデータストアへのマッピングを定義する必要があります。

重要

ストレージ構成内の情報は MongoDB の内部で表示され、Atlas Data Federation のパフォーマンスを監視して改善するための運用データとして保存されます。したがって、構成ではPIIを使用しないことをお勧めします。

HTTP データストアの構成例

データセンターから収集されたデータを含むURL https://www.datacenter-hardware.com/data.json 、 https://www.datacenter-software.com/data.json 、 https://www.datacenter-metrics.com/data.jsonについて考えます。以下は次のように構成されます。

フェデレーティッドデータベースインスタンスストアとしてのファイル内のデータを含む、パブリックにアクセス可能な URL を指定します。
各URL用のパーティションを作成します。

{
  "stores" : [
    {
      "name" : "httpStore",
      "provider" : "http",
      "allowInsecure" : false,
      "urls" : [
        "https://www.datacenter-hardware.com/data.json",
        "https://www.datacenter-software.com/data.json"
      ],
      "defaultFormat" : ".json"
    }
  ],
  "databases" : [
    {
      "name" : "dataCenter",
      "collections" : [
        {
          "name" : "inventory",
          "dataSources" : [
            {
              "storeName" : "httpStore",
              "allowInsecure" : false,
              "urls" : [
                "https://www.datacenter-metrics.com/data"
              ],
              "defaultFormat" : ".json"
            }
          ]
        }
      ]
    }
  ]
}

Tip

HTTPまたはHTTPS URLでのデータのクエリ

構成フォーマット

フェデレーティッドデータベースインスタンス構成の形式は次のとおりです。

1 {
2   "stores" : [
3     {
4       "name" : "<string>",
5       "provider": "<string>",
6       "defaultFormat" : "<string>",
7       "allowInsecure": <boolean>,
8        "urls": ["<string>"]
9     }
10   ],
11   "databases" : [
12     {
13       "name" : "<string>",
14       "collections" : [
15         {
16           "name" : "<string>",
17           "dataSources" : [
18             {
19               "storeName" : "<string>",
20               "allowInsecure" : <boolean>,
21               "urls" : ["<string>"],
22               "defaultFormat" : "<string>",
23               "provenanceFieldName": "<string>"
24             }
25           ]
26         }
27       ],
28       "views" : [ 
29         {
30           "name" : "<string>", 
31           "source" : "<string>", 
32           "pipeline" : "<string>" 
33         }
34       ] 
35     }
36   ]
37 }

stores: storesオブジェクトは、フェデレーティッドデータベースインスタンスに関連付けられた各データストアを定義します。フェデレーティッドデータベースインスタンスストアは、一般にアクセス可能なURLに保存されているファイルをキャプチャします。 Data Federation は、 storesオブジェクトで定義されたデータストアにのみアクセスできます。
databases: databases オブジェクトは、stores で定義された各フェデレーティッドデータベースインスタンスストアとデータベース内の MongoDB コレクションの間のマッピングを定義します。

`stores`

1 "stores" : [
2   {
3     "name" : "<string>",
4     "provider" : "<string>",
5     "allowInsecure": <boolean>,
6     "urls" : ["<string>"],
7     "defaultFormat" : "<string>"
8   }
9 ]

フィールド

タイプ

必要性

説明

stores

配列

必須

各オブジェクトがフェデレーティッドデータベースインスタンスに関連付けるデータストアを表すオブジェクトの配列。フェデレーティッドデータベースインスタンスストアは、一般にアクセス可能なURLに保存されているファイルを取得します。Atlas Data Federation は、storesオブジェクトで定義されたデータストアにのみアクセスできます。

stores.[n].name

string

必須

フェデレーティッドデータベースインスタンスストアの名前。databases.[n].collections.[n].dataSources.[n].storeNameフィールドは、マッピング構成の一部としてこの値を参照します。

stores.[n].provider

string

必須

データを保存する場所を定義します。値は次のいずれかになります。

s3 （ Amazon Web Services S3バケット用）。
atlas Atlas クラスター内のコレクション用。
http は、一般にアクセス可能なURLでホストされているファイル内のデータと接続します。

stores.[n].allowInsecure

ブール値

必須

任意。 指定されたURLのスキームを検証します。値は次のいずれかになります。

true 安全でないHTTPスキームを許可する
false 安全なHTTPSスキームのみを許可します（デフォルト）

true の場合、Atlas Data Federation は次のように動作します。

サーバーの証明書チェーンとホスト名を検証しません。
サーバーによって提示されたホスト名を持つ任意の証明書を受け入れます。

警告:これをtrueに設定すると、データが中間者攻撃（man-in-the-middle attack）に対して脆弱になり、データの機密性と整合性が損なわれる可能性があります。 Atlas Data Federation のテストと使用を開始する場合のみ、これをtrueに設定します。

省略した場合、デフォルトはfalseになります。 falseに設定されている場合、指定された URL に安全でないHTTPスキームが含まれている場合は、Data Federation は次のようなエラーを返します。

The insecure HTTP scheme is not supported by default - please add a "allowInsecure: true" flag to query from such URLs.

stores.[n].urls

配列

任意

データが保存される一般にアクセス可能なHTTP URLのコンマ区切りリスト。認証を必要とするURLは指定できません。

stores.[n].defaultFormat

string

任意

databases.[n].collections.[n].dataSources.[n].storeName を検索中に拡張子のないファイルを検出した場合に Atlas Data Federation が想定するデフォルトの形式。

defaultFormat フィールドでは、次の値が有効です。

.json, .json.gz, .bson, .bson.gz, .avro, .avro.gz, .orc, .tsv, .tsv.gz, .csv, .csv.gz, .parquet

重要: ファイル形式が CSV または TSV の場合、データにヘッダー行を含める必要があります。詳細については、「CSV および TSV」を参照してください。

省略した場合、Atlas Data Federation はファイルの数バイトを処理することでファイルタイプの検出を試みます。

指定された形式は、 storesオブジェクトで指定されたURLにのみ適用されます。

Tip

`databases`

1 "databases" : [
2   {
3     "name" : "<string>",
4     "collections" : [
5       {
6         "name" : "<string>",
7         "dataSources" : [
8           {
9             "storeName" : "<string>",
10             "allowInsecure" : <boolean>,
11             "urls" : ["<string>"],
12             "defaultFormat" : "<string>",
13             "provenanceFieldName": "<string>"
14           }
15         ]
16       }
17     ]
18   }
19 ]

フィールド

タイプ

必要性

説明

databases

配列

必須

各オブジェクトがデータベース、そのコレクション、および任意でコレクション上のビューを表すオブジェクトの配列。各データベースには複数の collections オブジェクトと views オブジェクトを保持できます。

databases.[n].name

string

必須

Atlas Data Federation がデータストアに含まれるデータをマッピングするデータベースの名前。

databases.[n].collections

配列

必須

各オブジェクトが stores フェデレーティッドデータベースインスタンスストアにマッピングするコレクションとデータソースを表すオブジェクトの配列。動的に生成されたデータベースの場合、ストレージ構成で定義できるワイルドカード（*）コレクションオブジェクトは1 つだけです。

databases.[n].collections.[n].name

string

必須

Atlas Data Federation が各 databases.[n].collections.[n].dataSources.[n].storeName に含まれるデータをマッピングするコレクションの名前。配列内の各オブジェクトは、コレクションと stores 配列内のオブジェクトとの間のマッピングを表します。

重要

**ワイルドカード * コレクションはHTTP （ハイパーテキストトランスポートプロトコル）ストアでは利用できません。**

databases.[n].collections.[n].dataSources

配列

string

各オブジェクトがコレクションでマッピングするstoresフェデレーティッドデータベースインスタンスストアを表すオブジェクトの配列。

databases.[n].collections.[n].dataSources.[n].storeName

string

必須

<collection> にマッピングするフェデレーティッドデータベースインスタンスストアの名前。namestores配列内のオブジェクトのと一致する必要があります。

databases.[n].collections.[n].dataSources.[n].allowInsecure

ブール値

必須

任意。 指定されたURLのスキームを検証します。値は次のいずれかになります。

true 安全でないHTTPスキームを許可する
false 安全なHTTPSスキームのみを許可します（デフォルト）

true の場合、Atlas Data Federation は次のように動作します。

サーバーの証明書チェーンとホスト名を検証しません。
サーバーによって提示されたホスト名を持つ任意の証明書を受け入れます。

The insecure HTTP scheme is not supported by default - please add a "allowInsecure: true" flag to query from such URLs.

databases.[n].collections.[n].dataSources.[n].urls

配列

任意

データが保存される一般にアクセス可能なURLのコンマ区切りリスト。フェデレーティッドデータベースインスタンスは、各URLのパーティションを作成します。urlsに含まれていないURLを指定できます。ただし、コレクションには urlsとurls の両方のURLからのデータの和集合が含まれます。

省略した場合、Data Federation は指定されたでurls storeNameを使用します。

databases.[n].collections.[n].dataSources.[n].defaultFormat

string

任意

databases.[n].collections.[n].dataSources.[n].storeName を検索中に拡張子のないファイルを検出した場合に Atlas Data Federation が想定するデフォルトの形式。

defaultFormat フィールドでは、次の値が有効です。

.json, .json.gz, .bson, .bson.gz, .avro, .avro.gz, .orc, .tsv, .tsv.gz, .csv, .csv.gz, .parquet

省略した場合、Atlas Data Federation はファイルの数バイトを処理することでファイルタイプの検出を試みます。

指定された形式は、 databases.[n].collections.[n].dataSourcesオブジェクトで指定されたURLにのみ適用されます。

Tip

databases.[n].collections.[n].dataSources.[n].provenanceFieldName

string

必須

結果にドキュメントの出所が含まれるフィールドの名前。ストレージ構成でこの設定を指定すると、Atlas Data Federation は結果の各ドキュメントに対して次のフィールドを返します。

フィールド名	説明
`provider`	フェデレーティッドデータベースインスタンスストレージ構成のプロバイダー（`stores.[n].provider` ）
`uri`	ドキュメントのHTTPまたは HTTPS URL （`databases.[n].collections.[n].dataSources.[n].urls` ）

Atlas UI のビジュアルエディターを使用してこの設定を構成することはできません。

databases.[n].views

配列

必須

各オブジェクトがコレクション上の集計パイプラインを表すオブジェクトの配列。ビューの詳細については、「ビュー」を参照してください。

databases.[n].views.[n].name

string

必須

ビューの名前。

databases.[n].views.[n].source

string

必須

ビューのソースコレクションの名前。$sql ステージでビューを作成する場合は、 SQLステートメントでソースコレクションが指定されるため、このフィールドを省略する必要があります。

databases.[n].views.[n].pipeline

配列

必須

コレクションに適用する source集計パイプラインラインステージ。$sql ステージを使用してビューを作成することもできます。

HTTP データストアの構成例

データセンターから収集されたデータを含むURL 、、 https://www.datacenter-hardware.com/data.jsonについて考えます。https://www.datacenter-software.com/data.jsonhttps://www.datacenter-metrics.com/data.json以下は次のように構成されます。

フェデレーティッドデータベースインスタンスストアとしてのファイル内のデータを含む、パブリックにアクセス可能な URL を指定します。
各URL用のパーティションを作成します。

{
  "stores" : [
    {
      "name" : "httpStore",
      "provider" : "http",
      "allowInsecure" : false,
      "urls" : [
        "https://www.datacenter-hardware.com/data.json",
        "https://www.datacenter-software.com/data.json"
      ],
      "defaultFormat" : ".json"
    }
  ],
  "databases" : [
    {
      "name" : "dataCenter",
      "collections" : [
        {
          "name" : "inventory",
          "dataSources" : [
            {
              "storeName" : "httpStore",
              "allowInsecure" : false,
              "urls" : [
                "https://www.datacenter-metrics.com/data"
              ],
              "defaultFormat" : ".json"
            }
          ]
        }
      ]
    }
  ]
}

Tip

HTTPまたはHTTPS URLでのデータのクエリ

Tip

チュートリアル: フェデレーティッドクエリと S3 への $out

戻る

コレクションの生成

配置

1	{
2	"stores" : [
3	{
4	"name" : "<string>",
5	"provider": "<string>",
6	"defaultFormat" : "<string>",
7	"allowInsecure": <boolean>,
8	"urls": ["<string>"]
9	}
10	],
11	"databases" : [
12	{
13	"name" : "<string>",
14	"collections" : [
15	{
16	"name" : "<string>",
17	"dataSources" : [
18	{
19	"storeName" : "<string>",
20	"allowInsecure" : <boolean>,
21	"urls" : ["<string>"],
22	"defaultFormat" : "<string>",
23	"provenanceFieldName": "<string>"
24	}
25	]
26	}
27	],
28	"views" : [
29	{
30	"name" : "<string>",
31	"source" : "<string>",
32	"pipeline" : "<string>"
33	}
34	]
35	}
36	]
37	}

1	"stores" : [
2	{
3	"name" : "<string>",
4	"provider" : "<string>",
5	"allowInsecure": <boolean>,
6	"urls" : ["<string>"],
7	"defaultFormat" : "<string>"
8	}
9	]

重要

HTTP データストアの構成例

Tip

構成フォーマット

stores

Tip

databases

重要

ワイルドカード * コレクションはHTTP （ハイパーテキスト トランスポート プロトコル）ストアでは利用できません。

Tip

HTTP データストアの構成例

Tip

Tip

`stores`

`databases`

**ワイルドカード * コレクションはHTTP （ハイパーテキストトランスポートプロトコル）ストアでは利用できません。**