튜토리얼: MongoDB에서 Amazon Web Services S로 데이터 연속 복사 S3

S3 과 Atlas 데이터 저장을 사용하여 연합 데이터베이스 인스턴스를 배포합니다.

연합 데이터베이스 인스턴스는 여러 데이터 소스를 하나의 쿼리 가능한 인터페이스로 통합합니다. 이 튜토리얼에서는 S3 버킷과 Atlas 클러스터를 동일한 연합 데이터베이스 인스턴스의 데이터 저장소로 연결합니다. 두 데이터 저장소를 연결하면 복사 trigger가 클러스터에서 읽어 S3에 쓰기 (write)할 수 있습니다.

1. S3 데이터 저장을 사용하여 연합 데이터베이스 인스턴스를 배포합니다. 자세한 내용은 연합 데이터베이스 인스턴스 데이터 저장 배포를 참조하세요. S3 데이터 저장을 구성할 때 Atlas Data Federation이 Parquet 파일을 쓰기 위해 IAM 역할 Read and write 에 버킷에 대한 액세스 권한을 부여합니다.

2. Atlas 클러스터를 연합 데이터베이스 인스턴스의 두 번째 데이터 저장소로 추가합니다.

이 단계를 완료한 후 연합 데이터베이스 인스턴스 서비스의 이름을 적어 두세요. 이 이름은 다음 단계에서 필요합니다.

테스트 문서를 삽입하는 예정된 trigger를 만듭합니다.

매분 클러스터에 새 문서를 삽입하는 예정된 trigger를 만듭니다. 이를 통해 테스트 데이터를 생성하여 복사 trigger가 작동하는지 확인할 수 있습니다.

1. Atlas에서 Triggers 페이지로 이동합니다.

   1. 아직 표시되지 않은 경우 탐색 표시줄의 Organizations 메뉴에서 프로젝트가 포함된 조직을 선택합니다.

   2. 아직 표시되지 않은 경우 내비게이션 바의 Projects 메뉴에서 프로젝트를 선택합니다.

   3. 사이드바에서 Streaming Data 제목 아래의 Triggers를 클릭합니다.

   트리거 페이지가 표시됩니다.

2. Add Trigger를 클릭합니다.

3. Trigger Type(으)로 Scheduled 을(를) 선택합니다.

4. Trigger Details에서 다음 구성을 설정하다 .

   설정	값
   Trigger Name	Create_Event_Every_Min_Trigger
   Schedule Type	Basic
   Interval	매 1 분
   Event Type	Function

5. Function 섹션에서 + New Function 을 선택하고 다음 코드를 입력합니다. 플레이스홀더 값을 Atlas 서비스, 데이터베이스 및 컬렉션 이름으로 대체합니다.

   exports = function () {
      const mongodb = context.services.get(
         "NAME_OF_YOUR_ATLAS_SERVICE"
      );
      const db = mongodb.db("NAME_OF_YOUR_DATABASE");
      const events = db.collection(
         "NAME_OF_YOUR_COLLECTION"
      );
      const event = events.insertOne({
         time: new Date(),
         aNumber: Math.random() * 100,
         type: "event"
      });
      return JSON.stringify(event);
   };

6. Save를 클릭합니다.

   trigger 실행 후 매분 클러스터 컬렉션에 새 문서가 표시됨을 확인합니다.

S3으로 데이터를 복사하려면 예정된 트리거를 만들어야 합니다.

$out 단계를 사용하여 집계 파이프라인을 실행하는 예정된 트리거를 만들어 클러스터에서 최신 문서를 Parquet 형식의 S3 버킷으로 매분 복사합니다.

1. Triggers 페이지에서 Add Trigger를 클릭합니다.

2. Trigger Type(으)로 Scheduled 을(를) 선택합니다.

3. Trigger Details에서 다음 구성을 설정하다 .

   설정	값
   Trigger Name	Copy_Events_To_S3_Trigger
   Schedule Type	Basic
   Interval	매 1 분
   Event Type	Function

4. Function 섹션에서 + New Function 을 선택하고 다음 코드를 입력합니다. 연합 데이터베이스 인스턴스 서비스, 가상 데이터베이스, 가상 컬렉션, S3 버킷 및 AWS 리전의 이름으로 자리 표시자 값을 대체합니다.

   exports = function () {
      const service = context.services.get(
         "NAME_OF_YOUR_FEDERATED_DATA_SERVICE"
      );
      const db = service.db(
         "NAME_OF_YOUR_VIRTUAL_DATABASE"
      );
      const events = db.collection(
         "NAME_OF_YOUR_VIRTUAL_COLLECTION"
      );
      const pipeline = [
         {
            $match: {
               "time": {
                  $gt: new Date(
                     Date.now() - 60 * 1000
                  ),
                  $lt: new Date(Date.now())
               }
            }
         },
         {
            "$out": {
               "s3": {
                  "bucket": "YOUR_S3_BUCKET_NAME",
                  "region": "YOUR_AWS_REGION",
                  "filename": "events",
                  "format": {
                     "name": "parquet",
                     "maxFileSize": "10GB",
                     "maxRowGroupSize": "100MB"
                  }
               }
            }
         }
      ];
      return events.aggregate(pipeline);
   };

5. Save를 클릭합니다.

   After the trigger runs, confirm that a Parquet file named events appears in your S3 bucket.