Atlas Data Federation 개요

주요 개념

Atlas Data Federation 아키텍처

Atlas Data Federation 사용하는 경우, 연합 데이터베이스 인스턴스는 리전 VPC내에 존재합니다. Atlas cluster 또는 cloud 제공자 객체 저장 로 전달되는 모든 연합 데이터베이스 인스턴스 데이터 트래픽은 TLS 암호화됨 됩니다. TLS 암호화 는 Atlas Data Federation 에서 사용할 수 있는 프라이머리 네트워크 보안 형태입니다. 연합 데이터베이스 인스턴스 및 데이터 소스 (Atlas cluster, S3, Blob, GCP Storage)가 동일한 cloud 제공자 사용하는 경우, 데이터 트래픽은 cloud 제공자의 문서화된 네트워크에 따라 cloud 제공자의 네트워크 인프라 또는 공용 인터넷을 통과합니다. 서비스 기능. 연합 데이터베이스 인스턴스 와 데이터 소스 다른 cloud 제공자에 있는 경우 데이터 트래픽은 공용 인터넷을 순회합니다.

클릭하여 확대

앞의 다이어그램에서 데이터 플레인은 데이터가 있는 곳입니다. 다양한 저장 서비스의 데이터에 액세스 하도록 Atlas Data Federation 구성할 수 있습니다. 구체적으로, Amazon Web Services 리전 전반의 Amazon Web Services S3 버킷, Azure Blob Storage 컨테이너, GCP Storage 버킷, Atlas cluster, HTTP 및 HTTPS URL , Atlas Online Archives에 있는 데이터 액세스 Atlas Data Federation 구성할 수 있습니다. 데이터 저장소에 액세스 하도록 Atlas Data Federation 구성하는 방법에 대해 자세히 학습 연합 데이터베이스 인스턴스에 대한 데이터 저장소 정의를 참조하세요.

그런 다음 연합 데이터베이스 인스턴스에 대한 역할 기반 액세스 제어를 설정할 수 있습니다. 글로벌 연결 옵션을 통해 또는 특정 리전에 고정하여 클라이언트가 연합 데이터베이스 인스턴스에 연결하는 방법을 제어할 수 있습니다. 자세한 내용은 연합 데이터베이스 인스턴스에 연결 구성을 참조하세요.

Atlas Data Federation 은 데이터 로컬리티를 보존하고 가능한 경우 로컬 계산을 최대화하여 데이터 전송 을 최소화하고 성능을 최적화합니다. 앞의 다이어그램의 컴퓨팅 플레인 은 Atlas Data Federation 이 모든 요청을 처리하는 위치를 보여줍니다. Atlas Data Federation 은 데이터에 가장 가까운 리전 에 에이전트로 구성된 탄력적인 풀을 제공하며, 여기서 Atlas Data Federation 은 쿼리 데이터를 프로세스 할 수 있습니다. 지원되는 리전에 학습 보려면 Atlas Data Federation 리전을 참조하세요.

Atlas Data Federation은 시스템 내부에 데이터를 유지하지 않으며 쿼리가 처리되면 연합 데이터베이스 인스턴스에만 메타데이터를 저장합니다. 이를 통해 데이터 주권 규정을 준수하고 법적 요구 사항에 따라 데이터를 저장하고 처리할 수 있습니다.

앞의 다이어그램의 컨트롤 플레인은 Atlas 컨트롤 플레인과 동일하며, Atlas Data Federation이 사용자 요청의 균형을 맞추고 최종 결과를 집계하는 곳입니다.

Atlas Data Federation은 처리를 위해 모든 데이터를 컴퓨팅 노드로 전송하지 않고 기본 스토리지 서비스에서 직접 쿼리의 특정 부분을 실행합니다. 또한 쿼리를 실행하면 먼저 쿼리를 계획한 다음 백엔드의 노드에 배포하는 Data Federation 프런트엔드 구성 요소에서 쿼리를 처리합니다. 그러면 백엔드 노드가 데이터 스토어에 직접 액세스하여 쿼리 로직을 실행하고 결과를 프런트엔드로 반환합니다. 이 프로세스는 이동할 데이터의 양을 줄여 전체 프로세스를 더 빠르고 저렴하게 만듭니다. 자세히 알아보려면 연합 데이터베이스 인스턴스 쿼리를 참조하십시오.

쿼리 성능을 최적화하기 위해 Atlas Data Federation은 다음을 수행합니다.

• 클라우드 객체 스토리지의 경우 데이터 파티셔닝을 사용하여 쿼리 파라미터를 기반으로 처리해야 하는 파일을 선택합니다. 자세한 내용은 S3 데이터 경로 정의 및 파티션 속성 유형 사용을 참조하세요. 또한 Parquet 메타데이터를 사용하여 행 그룹 선택 또는 열 프로젝션을 사용하여 Parquet 파일에서 검색하는 데이터의 양을 줄입니다. 자세한 내용은 Parquet 데이터 형식을 참조하십시오.

• Atlas 클러스터의 경우 가능한 한 많은 쿼리 클러스터 로 '푸시다운'하려고 시도합니다. 예시 를 들어 집계 파이프라인 에 $match 단계가 있고 로컬에서 처리할 수 있는 경우 Atlas Data Federation Atlas cluster 에서 해당 단계를 프로세스 하려고 시도하고 결과 문서만 연합 계층으로 다시 반환하여 후속 처리 수행합니다. 단계. 자세히 학습하려면 Atlas 클러스터의 데이터 쿼리를 참조하세요.

자세히 알아보려면 쿼리 성능 최적화를 참조하십시오.

MongoDB 언어별 드라이버 mongosh 및 Atlas SQL 을 사용하여 Atlas Data Federation에 연결할 수 있습니다. 자세한 내용은 연합 데이터베이스 인스턴스에 연결을 참조하세요.

샘플 사용

Atlas Data Federation을 사용하여 다음을 수행할 수 있습니다.

• Atlas Atlas cluster 데이터를 Amazon Web Services CSV Amazon Web Services S3 버킷 또는 Azure Azure Blob Storage에 기록된 Parquet 또는 CSV 파일에 복사합니다.

• 여러 Atlas 클러스터와 온라인 아카이브를 쿼리하여 Atlas 데이터를 전체적으로 파악할 수 있습니다.

• Atlas cluster, Amazon Atlas Amazon Web Services Web Services S3 버킷 및 Azure Azure Blob Storage에 걸친 애그리게이션에서 데이터를 구체화하세요.

• Amazon Web Services Amazon Web Services S3 버킷 또는 Azure Azure Blob Storage에서 데이터를 읽고 Atlas Atlas cluster 로 가져옵니다.