튜토리얼: MongoDB에서 Amazon Web Services S로 데이터 연속 복사 S3

S3 과 Atlas 데이터 저장을 사용하여 연합 데이터베이스 인스턴스를 배포합니다.

연합 데이터베이스 인스턴스는 여러 데이터 소스를 단일 쿼리 가능 인터페이스로 통합합니다. 이 튜토리얼에서, S3 버킷과 Atlas 클러스터를 동일한 연합 데이터베이스 인스턴스의 데이터 저장으로 연결합니다. 두 데이터 저장소를 연결하면 복사 trigger가 클러스터에서 읽고 S3에 쓰기 (write)할 수 있게 됩니다.

1. S3 데이터 저장소에 연합 데이터베이스 인스턴스를 배포합니다. 방법을 학습하려면 연합 데이터베이스 인스턴스 데이터 저장 배포를 참조하십시오. S3 데이터 저장소를 구성할 때 IAM 역할 Read and write에게 bucket에 대한 액세스 권한을 부여하여 Atlas Data Federation이 Parquet 파일을 쓰기 (write)하도록 합니다.

2. Atlas 클러스터를 연합 데이터베이스 인스턴스의 두 번째 데이터 저장소로 추가합니다.

이 단계를 완료한 후 연합 데이터베이스 인스턴스 서비스의 이름을 적어 두세요. 이 이름은 다음 단계에서 필요합니다.

테스트 문서를 삽입하는 예정된 trigger를 만듭합니다.

매분 클러스터에 새 문서를 삽입하는 예정된 trigger를 만듭니다. 이를 통해 테스트 데이터를 생성하여 복사 trigger가 작동하는지 확인할 수 있습니다.

1. Atlas에서 Triggers 페이지로 이동합니다.

   1. 아직 표시되지 않은 경우 탐색 표시줄의 Organizations 메뉴에서 프로젝트가 포함된 조직을 선택합니다.

   2. 아직 표시되지 않은 경우 내비게이션 바의 Projects 메뉴에서 프로젝트를 선택합니다.

   3. 사이드바에서 Streaming Data 제목 아래의 Triggers를 클릭합니다.

   트리거 페이지가 표시됩니다.

2. Add Trigger를 클릭합니다.

3. Trigger Type(으)로 Scheduled 을(를) 선택합니다.

4. Trigger Details에서 다음 구성을 설정하다 .

   설정	값
   Trigger Name	Create_Event_Every_Min_Trigger
   Schedule Type	Basic
   Interval	매 1 분
   Event Type	Function

5. Function 섹션에서 + New Function 을 선택하고 다음 코드를 입력합니다. 플레이스홀더 값을 Atlas 서비스, 데이터베이스 및 컬렉션 이름으로 대체합니다.

   exports = function () {
      const mongodb = context.services.get(      "NAME_OF_YOUR_ATLAS_SERVICE"   );   const db = mongodb.db("NAME_OF_YOUR_DATABASE");   const events = db.collection(      "NAME_OF_YOUR_COLLECTION"   );
      const event = events.insertOne({      time: new Date(),      aNumber: Math.random() * 100,      type: "event"   });
      return JSON.stringify(event);};

6. Save를 클릭합니다.

   trigger 실행 후 매분 클러스터 컬렉션에 새 문서가 표시됨을 확인합니다.

S3으로 데이터를 복사하려면 예정된 트리거를 만들어야 합니다.

예정된 트리거를 생성합니다. 이 트리거는 $out 단계를 사용하여 집계 파이프라인을 실행하고, 클러스터에서 최근 문서를 복사하여 S3 버킷으로 Parquet 형식으로 매분 복사합니다.

1. Triggers 페이지에서 Add Trigger를 클릭합니다.

2. Trigger Type(으)로 Scheduled 을(를) 선택합니다.

3. Trigger Details에서 다음 구성을 설정하다 .

   설정	값
   Trigger Name	Copy_Events_To_S3_Trigger
   Schedule Type	Basic
   Interval	매 1 분
   Event Type	Function

4. Function 섹션에서 + New Function을(를) 선택하고 다음 코드를 입력합니다. 자리 표시자 값을 연합 데이터베이스 인스턴스 서비스, 가상 데이터베이스, 가상 컬렉션, S3 버킷 및 Amazon Web Services 리전의 이름으로 바꾸니다.

   exports = function () {
      const service = context.services.get(      "NAME_OF_YOUR_FEDERATED_DATA_SERVICE"   );   const db = service.db(      "NAME_OF_YOUR_VIRTUAL_DATABASE"   );   const events = db.collection(      "NAME_OF_YOUR_VIRTUAL_COLLECTION"   );
      const pipeline = [      {         $match: {            "time": {               $gt: new Date(                  Date.now() - 60 * 1000               ),               $lt: new Date(Date.now())            }         }      },      {         "$out": {            "s3": {               "bucket": "YOUR_S3_BUCKET_NAME",               "region": "YOUR_AWS_REGION",               "filename": "events",               "format": {                  "name": "parquet",                  "maxFileSize": "10GB",                  "maxRowGroupSize": "100MB"               }            }         }      }   ];
      return events.aggregate(pipeline);};

5. Save를 클릭합니다.

   trigger가 실행된 후, 사용자의 S3 버킷에서 events (이)라는 이름의 Parquet 파일이 나타나는지 확인합니다.