Azure Blob 저장

stores

1
"stores" : [
2
    {
3
      "name" : "<string>",
4
      "provider" : "<string>",
5
      "region" : "<string>",
6
      "serviceURL" : "<string>",
7
      "containerName" : "<string>",
8
      "delimiter": "<string",
9
      "prefix" : "<string>",
10
      "public": <boolean>
11
    }
12
  ]

stores

각 객체가 연합 데이터베이스 인스턴스와 연결할 데이터 저장소를 나타내는 객체 배열입니다. 연합 데이터베이스 인스턴스 저장소는 다음을 캡처합니다.

• Azure Blob Storage 컨테이너의 파일

• Atlas cluster의 문서

• 공개적으로 액세스할 수 있는 URL에 저장된 파일.

Atlas Data Federation은 stores 객체에 정의된 데이터 저장소에만 액세스할 수 있습니다.

stores.[n].name

연합 데이터베이스 인스턴스 저장소의 이름입니다. databases.[n].collections.[n].dataSources.[n].storeName 필드는 매핑 구성의 일부로 이 값을 참조합니다.

stores.[n].provider

데이터가 저장되는 위치를 정의합니다. Azure Blob Storage 컨테이너의 값은 azure이어야 합니다.

stores.[n].region

데이터가 저장된 Azure 리전의 이름입니다.

stores.[n].serviceURL

블롭 컨테이너가 포함된 Azure Blob Storage 계정의 URL입니다. serviceURL은 다음 형식이어야 합니다.

https://<storage-account-name>.blob.core.windows.net/

여기서 storage-account-name은 Azure Blob Storage 계정의 이름입니다.

stores.[n].containerName

파일이 포함된 Azure Blob Storage 컨테이너의 이름입니다.

stores.[n].prefix

선택 사항. Azure Blob Storage에서 파일을 검색할 때 접두사 Atlas Data Federation이 적용됩니다.

예를 들어 다음과 같은 구조의 Azure Blob Storage 컨테이너 metrics를 생각해 보겠습니다.

metrics
  |--hardware
  |--software
    |--computed

연합 데이터베이스 인스턴스 저장소는 databases.[n].collections.[n].dataSources.[n].path 에 prefix 값을 추가하여 수집할 파일의 전체 경로를 생성합니다. prefix 를 /software 로 설정하면 연합 데이터베이스 인스턴스 저장소를 사용하는 모든 databases 객체가 하위 경로 /software 로만 제한됩니다.

이 설정을 생략하면 Atlas Data Federation은 Azure Blob Storage 컨테이너의 루트에서 모든 파일을 검색합니다.

stores.[n].delimiter

선택 사항. 연합 데이터베이스 인스턴스 저장소에서 databases.[n].collections.[n].dataSources.[n].path 세그먼트를 구분하는 구분 기호입니다. Data Federation은 구분 기호를 사용하여 계층적 디렉토리 구조의 Azure Blob Storage 컨테이너를 효율적으로 탐색합니다.

생략하는 경우 기본값은 "/"입니다.

stores.[n].public

선택 사항. Azure Blob Storage 컨테이너의 공개 여부를 지정합니다.

true로 설정하면 Atlas Data Federation은 구성된 Azure 서비스 주체를 사용하여 Azure Blob Storage에 액세스하지 않습니다. false로 설정하면 구성된 서비스 주체에 블롭 컨테이너에 액세스할 수 있는 권한이 포함되어야 하며, 이는 해당 블롭 컨테이너가 공개된 경우에도 마찬가지입니다.

생략하는 경우 기본값은 false입니다.

databases

1
"databases" : [
2
  {
3
    "name" : "<string>",
4
    "collections" : [
5
      {
6
        "name" : "<string>",
7
        "dataSources" : [
8
          {
9
            "storeName" : "<string>",
10
            "defaultFormat" : "<string>",
11
            "path" : "<string>",
12
            "provenanceFieldName": "<string>"
13
          }
14
        ]
15
      }
16
    ], 
17
    "maxWildcardCollections" : <integer>,
18
    "views" : [
19
      {
20
        "name" : "<string>",
21
        "source" : "<string>",
22
        "pipeline" : "<string>"
23
      }
24
    ]
25
  }
26
]

databases

각 객체가 데이터베이스, 해당 컬렉션 및 선택적으로 컬렉션에 대한 모든 뷰 를 나타내는 객체 배열입니다. 각 데이터베이스에는 여러 개의 collections 및 views 객체가 있을 수 있습니다.

databases.[n].name

Atlas Data Federation이 데이터 저장소에 포함된 데이터를 매핑하는 데이터베이스의 이름입니다.

databases.[n].collections

각 객체가 stores 연합 데이터베이스 인스턴스 저장소에 매핑되는 컬렉션 및 데이터 소스를 나타내는 객체 배열입니다.

databases.[n].collections.[n].name

Atlas Data Federation이 각 databases.[n].collections.[n].dataSources.[n].storeName 에 포함된 데이터를 매핑하는 컬렉션의 이름입니다. 배열의 각 객체는 컬렉션과 stores 배열의 객체 간의 매핑을 나타냅니다.

컬렉션 이름에 * 를 지정하고 path 필드에 collectionName() 함수를 지정하여 파일 경로에서 컬렉션 이름을 동적으로 생성할 수 있습니다.

databases.[n].collections.[n].dataSources

각 객체가 컬렉션과 매핑할 stores 연합 데이터베이스 인스턴스 저장소를 나타내는 객체 배열입니다.

databases.[n].collections.[n].dataSources.[n].storeName

에 매핑할 연합 데이터베이스 인스턴스 저장소의 이름입니다.<collection> 배열에 stores 있는 객체의 name 와 일치해야 합니다.

databases.[n].collections.[n].dataSources.[n].path

Atlas Data Federation이 storeName 파일을 <collection> 에 매핑하기 전에 검색하고 구문 분석하는 방법을 제어합니다. Atlas Data Federation은 path 에 stores.[n].prefix 를 추가하여 그 안에서 검색할 전체 경로를 구축합니다. / 를 지정하여 prefix 경로의 모든 파일과 디렉토리를 캡처합니다.

예를 들어 다음과 같은 구조의 Azure Blob Storage 컨테이너 metrics를 생각해 보겠습니다.

metrics
|--hardware
|--software
  |--computed

/의 path는 Atlas Data Federation이 metrics 디렉토리에 있는 모든 파일 및 폴더를 검색하도록 지시합니다.

/hardware의 path은 수집할 파일에 대해 해당 경로만 검색하도록 Atlas Data Federation에 지시합니다.

prefix 이(가) software 인 경우 Atlas Data Federation은 /software/computed 경로에 있는 파일만 검색합니다.

경로에 * 와일드카드 문자를 추가하면 Atlas Data Federation이 경로에서 해당 지점에 있는 모든 파일과 디렉토리를 포함하도록 지시합니다. 예를 들어, /software/computed*는 /software/computed-detailed, /software/computedArchive, /software/computed/errors 등의 파일과 일치합니다.

path 다음을 포함하여 파일 이름 구문 분석을 위한 추가 구문을 지원합니다.

• 파일 이름에서 문서 필드를 생성합니다.

• 표현식을 사용하여 필드 생성을 제어합니다.

• 타임스탬프별로 파일 이름을 버킷에 넣기 위한 경계를 설정합니다.

자세한 내용은 S3 데이터 경로 정의를 참조하세요.

path를 지정할 때:

• 파티션 속성에 대한 데이터 유형을 지정합니다.

• 파티션 속성 유형이 구문 분석할 데이터 유형과 일치하는지 확인합니다.

• delimiter에 지정된 구분자를 사용합니다.

동일한 유형의 속성을 지정하는 경우 다음 중 하나를 수행하세요.

• 속성 사이에 상수 구분 기호를 추가합니다.

• 정규 표현식을 사용하여 검색 패턴을 설명합니다. 자세히 보려면 Unsupported Parsing Functions 참조합니다.

databases.[n].collections.[n].dataSources.[n].defaultFormat

선택 사항. Data Federation이 databases.[n].collections.[n].dataSources.[n].storeName을 검색하는 동안 확장명이 없는 파일을 발견하는 경우 가정하는 기본 형식입니다.

defaultFormat 필드에 유효한 값은 다음과 같습니다.

.json, .json.gz, .bson, .bson.gz, .avro, .avro.gz, .orc, .tsv, .tsv.gz, .csv, .csv.gz, .parquet

참고

파일 형식이 CSV 또는 TSV인 경우 데이터에 헤더 행을 포함해야 합니다. 자세한 내용은 CSV 및 TSV를 참조하세요.

이를 생략할 경우 Data Federation은 일부 파일 바이트를 처리하여 파일 형식을 감지하려고 시도합니다.

팁

다음도 참조하세요.

지원되는 데이터 형식

databases.[n].collections.[n].dataSources.[n].provenanceFieldName

결과에 있는 문서의 출처를 포함하는 필드의 이름입니다. 스토리지 구성에서 이 설정을 지정하면 Atlas Data Federation은 결과의 각 문서에 대해 다음 필드를 반환합니다.

필드 이름	설명
provider	연합 데이터베이스 인스턴스 스토리지 구성의 제공자(stores.[n].provider)입니다.
region	Azure 리전(stores.[n].region)입니다.
serviceURL	블롭 컨테이너( )가 포함된 Azurestores.[n].serviceURL Blob Storage 계정의 URL 입니다.
containerName	Azure Blob Storage 컨테이너의 이름(stores.[n].containerName)
key	파일의 경로(databases.[n].collections.[n].dataSources.[n].path)입니다.

Atlas UI의 비주얼 편집기를 사용하여 이 설정을 구성할 수 없습니다.

databases.[n].maxWildcardCollections

선택 사항. 데이터베이스에 있는 와일드카드 * 컬렉션의 최대 개수입니다. 각 와일드카드 컬렉션에는 데이터 원본이 하나만 있을 수 있습니다. 값은 1에서 1000 사이일 수 있습니다. 이를 생략하는 경우 기본값은 100입니다.

databases.[n].views

각 객체가 컬렉션의 집계 파이프라인 을 나타내는 객체 배열입니다. 뷰에 대해 자세히 알아보려면 뷰를 참조하세요 .

databases.[n].views.[n].name

뷰를 식별하는 라벨입니다.

databases.[n].views.[n].source

뷰의 원본 컬렉션을 식별하는 라벨입니다.

databases.[n].views.[n].pipeline

컬렉션에 적용할집계 source 파이프라인 단계 입니다.