在Amazon Web Services S3 中部署联合数据库实例

1. 从Data Sources部分选择联合数据库实例的数据集。

   单击Add Data Sources选择您的数据存储。

2. 指定您的数据存储。

   选择 Amazon S3 可为Amazon Web Services S3存储桶中的数据配置联合数据库实例。

   与 stores.[n].provider JSON 配置设置对应。

3. 为 Atlas 选择一个 AWS IAM 角色。

   您可以从角色选择下拉列表中选择 Atlas 已获得授权的现有AWS IAM 角色，也可以选择Authorize an AWS IAM Role以授权新角色。

   如果您选择了一个已经被 Atlas 授权的现有角色，请继续下一步，列出您的 AWS S3 存储桶。

   如果要为现有角色授权 Atlas 或创建新角色， 请先完成以下步骤， 然后再继续下一步：

   1. 选择Authorize an AWS IAM Role以授权新角色，或从下拉列表中选择现有角色并单击Next 。

   2. 在Add Atlas to the trust relationships of your AWS IAM role部分中使用AWS ARN和唯一外部 ID，将 Atlas 添加到现有或新AWS IAM 角色的信任关系中。

      在 Atlas 用户界面中，单击并展开以下选项之一：

      • Create New Role with the AWS CLI 演示如何使用ARN和唯一外部ID将Atlas添加到新Amazon Web Services IAM角色的信任关系中。 按照 Atlas 用户界面中的步骤创建新角色。 要了解更多信息，请参阅使用Amazon Web Services CLI创建新角色。

        授权新角色时，如果退出Configure a New Data Lake工作流程：

        • 在验证角色之前， Atlas不会创建联合数据库实例。 您可以Go Atlas Integrations 页面授权新角色。 当您拥有Amazon Web Services IAM角色 ARN 时，可以 恢复 工作流程。

        • 验证角色后，Atlas 将不会创建联合数据库实例。 但是，此角色可在角色选择下拉列表找到， 可用于创建联合数据库实例。您无需 重新授权此角色。

      • Add Trust Relationships to an Existing Role展示如何使用ARN和唯一外部 ID 将 Atlas 添加到现有Amazon Web Services IAM角色的信任关系。按照 Atlas 用户界面中的步骤操作，将 Atlas 添加到现有角色的信任关系。 要了解更多信息，请参阅为现有角色添加信任关系。

      重要提示：如果您将来修改自定义Amazon Web Services角色ARN，请验证该角色的访问权限策略是否包括对联合数据库实例的S3资源的适当访问权限。

      有关更多信息，请参阅

      • 设置统一 AWS 访问

      • 创建云提供商访问角色

   3. 单击 Next（连接）。

4. 输入 S 3存储桶信息。

   1. 输入 S 3存储桶的名称。

      与 stores.[n].bucket JSON 配置设置对应。

   2. 指定存储桶是Read-only还是同时是Read and write 。

      Atlas只能查询Read-only存储桶；如果您希望查询并将查询结果保存到S 3存储桶，请选择Read and write 。 要将查询结果保存到S3存储桶，授予Atlas访问权限Amazon Web Services资源的角色策略必须包含 s3:PutObject 和 s3:DeleteObject 权限，此外还有 s3:ListBucket、s3:GetObject、s3:GetObjectVersion 和 s3:GetBucketLocation 权限，可授予读取访问权限。 请参阅下面的步骤 4，学习；了解有关为Amazon Web Services IAM角色分配访问权限策略的更多信息。

   3. 选择S 3存储桶的地区。

      与 stores.[n].region JSON 配置设置对应。

      重要提示：如果Atlas Data Federation无法检索指定 S3 存储桶的地区，则无法创建联合数据库实例。

   4. 可选。 指定Data Federation在S 3存储桶中搜索文件时应使用的前缀。 如果省略， Data Federation将从S 3存储桶的根开始递归搜索所有文件。

      与 stores.[n].prefix JSON 配置设置对应。

   5. 单击 Next（连接）。

5. 为您的 AWS IAM 角色指定访问策略。

   1. 按照Atlas user界面中的步骤为您的Amazon Web Services IAM角色分配访问权限策略。

      只读或读写访问权限的角色策略应如下所示：

      只读访问

      读写访问

      {
        "Version": "2012-10-17",
        "Statement": [
          {
            "Effect": "Allow",
            "Action": [
              "s3:ListBucket",
              "s3:GetObject",
              "s3:GetObjectVersion",
              "s3:GetBucketLocation"
            ],
            "Resource": [
              <role arn>
            ]
          }
        ]
      }

      {
        "Version": "2012-10-17",
        "Statement": [
          {
            "Effect": "Allow",
            "Action": [
              "s3:ListBucket",
              "s3:GetObject",
              "s3:GetObjectVersion",
              "s3:GetBucketLocation",
              "s3:PutObject",
              "s3:DeleteObject"
            ],
            "Resource": [
              <role arn>
            ]
          }
        ]
      }

   2. 单击 Next（连接）。

6. 为S 3存储桶中的文件定义路径结构，然后单击Next 。

   例如：

   s3://<bucket-name>/<path>/<to>/<files>/<filename>.<file-extension>

   要为S 3存储桶上的数据添加其他路径，请单击Add Data Source并输入路径。 要学习；了解有关路径的更多信息，请参阅为 S 3数据定义路径。

   与 databases.[n].collections.[n].dataSources.[n].path JSON 配置设置对应。

7. 创建虚拟数据库、集合和视图，并将数据库、集合和视图映射到数据存储。

   1. （可选）单击对于：

      • 数据库，用于编辑数据库名称。默认值为 VirtualDatabase[n]。

        与 databases.[n].name JSON 配置设置对应。

      • 集合，可编辑集合名称。 默认值为 VirtualCollection[n]。

        与 databases.[n].collections.[n].name JSON 配置设置对应。

      • 视图，用于编辑视图名称。

      您可以单击：

      • Add Database 添加数据库和集合。

      • 与数据库关联， 以便将集合添加到数据库中。

      • 与集合关联，以添加关于集合的视图。 要创建视图，必须指定：

        • 视图的名称。

        • 应用于视图的管道。

          视图定义管道不能包含$out或$merge阶段。 如果视图定义包含嵌套管道阶段，例如$lookup或$facet ，则此限制也适用于这些嵌套管道。

        要学习；了解有关视图的更多信息，请参阅：

        • 视图

        • db.createView

      • 与数据库、集合或视图关联， 以便予以删除。

   2. 从Data Sources部分的下拉列表中选择AWS S3 。

   3. 拖放数据存储以与集合映射。

      与 databases.[n].collections.[n].dataSources JSON 配置设置对应。

Amazon Web Services S3数据存储的配置应如下所示：

{
  "stores" : [
    {
      "name" : "<string>",
      "provider": "<string>",
      "region" : "<string>",
      "bucket" : "<string>",
      "additionalStorageClasses" : ["<string>"],
      "prefix" : "<string>",
      "includeTags": <boolean>,
      "delimiter": "<string>",
      "public": <boolean>
    }
  ],
  "databases" : [
    {
      "name" : "<string>",
      "collections" : [
        {
          "name" : "<string>",
          "dataSources" : [
            {
              "storeName" : "<string>",
              "path" : "<string>",
              "defaultFormat" : "<string>",
              "provenanceFieldName": "<string>",
              "omitAttributes": true | false
            }
          ]
        }
      ],
      "maxWildcardCollections" : <integer>,
      "views" : [ 
        {
          "name" : "<string>", 
          "source" : "<string>", 
          "pipeline" : "<string>" 
        }
      ] 
    }
  ]
}

有关配置设置的更多信息，请参阅为联合数据库实例定义数据存储。

1. 定义您的Amazon Web Services S3 数据存储。

   编辑stores用户界面中显示的JSON配置设置。 您的stores配置设置应如下所示：

      "stores" : [
        {
          "name" : "<string>",
          "provider" : "<string>",
          "region" : "<string>",
          "bucket" : "<string>",
          "additionalStorageClasses" : ["<string>"],
          "prefix" : "<string>",
          "delimiter" : "<string>",
          "includeTags": <boolean>,
          "public": <boolean>
        }
      ]

   要学习；了解有关这些配置设置的更多信息，请参阅stores 。

2. 定义联合数据库实例虚拟数据库、集合和视图。

   编辑databases用户界面中显示的JSON配置设置。 您的databases配置设置应如下所示：

   "databases" : [
     {
       "name" : "<string>",
       "collections" : [
         {
           "name" : "<string>",
           "dataSources" : [
             {
               "storeName" : "<string>",
               "defaultFormat" : "<string>",
               "path" : "<string>",
               "provenanceFieldName": "<string>",
               "omitAttributes": <boolean>
             }
           ]
         }
       ], 
       "maxWildcardCollections" : <integer>,
       "views" : [
         {
           "name" : "<string>",
           "source" : "<string>",
           "pipeline" : "<string>"
         }
       ]
     }
   ]

   要学习；了解有关这些配置设置的更多信息，请参阅databases 。