$out ステージ（Atlas Data Federation）

簡単な string の例

1 GiB のデータを圧縮BSONファイルとしてmy-s3-bucketという名前のS3バケットに書込み (write) したいと考えています。

次の $out 構文を使用します。

{
  "$out": {
    "s3": {
      "bucket": "my-s3-bucket",
      "filename": "big_box_store/",
      "format": {
        "name": "bson.gz"
      }
    }
  }
}

s3.regionは省略されているため、Atlas Data Federation はストレージ構成から my-s3-bucket という名前のバケットがホストされているリージョンを決定します。$out は 5 つの圧縮された BSON ファイルを 書き込み (write)ます。

1. $outがbig_box_store/1.bson.gzと名前を付けるファイルへの最初の200 MiB のデータ。

   • s3.filenameの値は、各ファイル名で定数として機能します。 この値は、ドキュメント フィールドまたは値に依存しません。

   • s3.filenameは区切り文字で終わるため、Atlas Data Federation は 定数の後にカウンターを追加します。

   • 区切り文字で終了しない場合、Atlas Data Federation はbig_box_store.1.bson.gzのように 定数と カウンターの間に.を追加します。

   • s3.format.maxFileSizeを使用して最大ファイルサイズを変更しなかったため、Atlas Data Federation はデフォルト値の 200 MiB を使用します。

2. $out が big_box_store/2.bson.gz と名付ける新しいファイルへの 2 番目の 200 MiB のデータ。

3. $out が big_box_store/3.bson.gz から big_box_store/5.bson.gz までの名前を付けるさらに 3 つのファイル。

ドキュメントの単一フィールド

という名前の S3 バケットに JSON ファイルに 90 MiB のデータを書込み (write)my-s3-bucket したいと考えています。

次の $out 構文を使用します。

{
  "$out": {
    "s3": {
      "bucket": "my-s3-bucket",
      "region": "us-east-1",
      "filename": {"$toString": "$saleDate"},
      "format": {
        "name": "json",
        "maxFileSize": "100MiB"
      }
    }
  }
}

$out は、バケットのルートにある JSON ファイルに 90 MiB のデータを書き込み (write)ます。各JSONファイルには、同じsaleDate値を持つすべてのドキュメントが含まれています。$outは、ドキュメントのsaleDate値をstringに変換して、各ファイルに名前を付けます。

ドキュメントの複数のフィールド

176 MiB のデータをBSONファイルとしてmy-s3-bucketという名前のS3バケットに書込みます。

次の $out 構文を使用します。

{
  "$out": {
    "s3": {
      "bucket": "my-s3-bucket",
      "region": "us-east-1",
      "filename": {
        "$concat": [
          "persons/",
          "$name", "/",
          "$uniqueId", "/"
        ]
      },
      "format": {
        "name": "bson",
        "maxFileSize": "200MiB"
      }
    }
  }
}

$out は 176 MiB のデータを BSON ファイルに書き込み (write)ます。各ファイルに名前を付けるには、$out は次のものを連結します。

• 次のドキュメントからの 定数string persons/ と

  • nameフィールドの string 値、

  • フォワードスラッシュ（ / ）、

  • uniqueIdフィールドの string 値、および

  • フォワードスラッシュ（ / ）。

各BSONファイルには、同じnameとuniqueId値を持つすべてのドキュメントが含まれています。$outは、ドキュメントのnameとuniqueId値を使用して各ファイルに名前を付けます。

ドキュメントの複数のタイプのフィールド

154 MiB のデータを圧縮JSONファイルとしてmy-s3-bucketという名前のS3バケットに書込みます。

次の$out構文を考えてみましょう。

{
  "$out": {
    "s3": {
      "bucket": "my-s3-bucket",
      "region": "us-east-1",
      "filename": {
        "$concat": [
          "big-box-store/",
          {
            "$toString": "$storeNumber"
          }, "/",
          {
            "$toString": "$saleDate"
          }, "/",
          "$partId", "/"
        ]
      },
      "format": {
        "name": "json.gz",
        "maxFileSize": "200MiB"
      }
    }
  }
}

$outは圧縮された JSON ファイルに 154 MiB のデータを書き込み (write)ます。各ファイルには、同じ storeNumber、 saleDate、 partId値を持つすべてのドキュメントが含まれています。各ファイルに名前を付けるには、 $outは次の要素を連結します。

• big-box-store/ の定数string値、

• storeNumberフィールドの一意の店舗番号の string 値、

• フォワードスラッシュ（ / ）、

• saleDateフィールドからの日付の string 値、

• フォワードスラッシュ（ / ）、

• partIdフィールドからの 部分 ID の string 値、および

• フォワードスラッシュ（ / ）。

簡単な string の例

圧縮BSONファイルとして1 GiB のデータをAzureストレージ アカウントmystorageaccountとmy-containerという名前のコンテナに書き込みます。

次の $out 構文を使用します。

{
  "$out": {
    "azure": {
      "serviceURL": "http://mystorageaccount.blob.core.windows.net/",
      "containerName": "my-container",
      "filename": "big_box_store/",
      "format": {
        "name": "bson.gz"
      }
    }
  }
}

azure.regionは省略されているため、Atlas Data Federation はストレージ構成から my-containerという名前のコンテナがホストされているリージョンを決定します。$out は 5 つの圧縮された BSON ファイルを 書き込み (write)ます。

1. $outがbig_box_store/1.bson.gzと名前を付けるファイルへの最初の200 MiB のデータ。

   • azure.filenameの値は、各ファイル名で定数として機能します。 この値は、ドキュメント フィールドまたは値に依存しません。

   • azure.filenameは区切り文字で終わるため、Atlas Data Federation は 定数の後にカウンターを追加します。

   • 区切り文字で終了しない場合、Atlas Data Federation はbig_box_store.1.bson.gzのように 定数と カウンターの間に.を追加します。

   • azure.format.maxFileSizeを使用して最大ファイルサイズを変更しなかったため、Atlas Data Federation はデフォルト値の 200 MiB を使用します。

2. $out が big_box_store/2.bson.gz と名付ける新しいファイルへの 2 番目の 200 MiB のデータ。

3. $out が big_box_store/3.bson.gz から big_box_store/5.bson.gz までの名前を付けるさらに 3 つのファイル。

ドキュメントの単一フィールド

という名前の Azure Blob 90Storage コンテナの JSON ファイルに MiBmy-container のデータを書込みたいと考えています。

次の $out 構文を使用します。

{
  "$out": {
    "azure": {
      "serviceURL": "http://mystorageaccount.blob.core.windows.net/",
      "containerName": "my-container",
      "region": "eastus2",
      "filename": {"$toString": "$saleDate"},
      "format": {
        "name": "json",
        "maxFileSize": "100MiB"
      }
    }
  }
}

$out は、コンテナのルートにある JSON ファイルに 90 MiB のデータの書き込み (write)を行います。各 JSON ファイルには、同じ saleDate 値を持つすべてのドキュメントが含まれています。$out は、ドキュメントの saleDate 値を使用して各ファイルに名前を付けます。string に変換されます。

ドキュメントの複数のフィールド

176 MiB のデータをBSONファイルとしてmy-containerという名前のAzure Blob Storage コンテナに書込みます。

次の $out 構文を使用します。

{
  "$out": {
    "azure": {
      "serviceURL": "http://mystorageaccount.blob.core.windows.net/",
      "containerName": "my-container",
      "region": "eastus2",
      "filename": {
        "$concat": [
          "persons/",
          "$name", "/",
          "$uniqueId", "/"
        ]
      },
      "format": {
        "name": "bson",
        "maxFileSize": "200MiB"
      }
    }
  }
}

$out は 176 MiB のデータを BSON ファイルに書き込み (write)ます。各ファイルに名前を付けるには、$out は次のものを連結します。

• 次のドキュメントからの 定数string persons/ と

  • nameフィールドの string 値、

  • フォワードスラッシュ（ / ）、

  • uniqueIdフィールドの string 値、および

  • フォワードスラッシュ（ / ）。

各BSONファイルには、同じnameとuniqueId値を持つすべてのドキュメントが含まれています。$outは、ドキュメントのnameとuniqueId値を使用して各ファイルに名前を付けます。

ドキュメントの複数のタイプのフィールド

圧縮されたJSONファイルとしてmy-containerという名前のAzure Blob Storage コンテナに154 MiB のデータを書込み (write) する場合があります。

次の$out構文を考えてみましょう。

{
  "$out": {
    "azure": {
      "serviceURL": "http://mystorageaccount.blob.core.windows.net/",
      "containerName": "my-container",
      "region": "eastus2",
      "filename": {
        "$concat": [
          "big-box-store/",
          {
            "$toString": "$storeNumber"
          }, "/",
          {
            "$toString": "$saleDate"
          }, "/",
          "$partId", "/"
        ]
      },
      "format": {
        "name": "json.gz",
        "maxFileSize": "200MiB"
      }
    }
  }
}

$outは圧縮された JSON ファイルに 154 MiB のデータを書き込み (write)ます。各ファイルには、同じ storeNumber、 saleDate、 partId値を持つすべてのドキュメントが含まれています。各ファイルに名前を付けるには、 $outは次の要素を連結します。

• big-box-store/ の定数string値、

• storeNumberフィールドの一意の店舗番号の string 値、

• フォワードスラッシュ（ / ）、

• saleDateフィールドからの日付の string 値、

• フォワードスラッシュ（ / ）、

• partIdフィールドからの 部分 ID の string 値、および

• フォワードスラッシュ（ / ）。

簡単な string の例

my-gcs-bucket という名前の Google Cloud Storage バケットに、1 GiB のデータを圧縮 BSON ファイルとして書き込むとします。

次の $out 構文を使用します。

{
  "$out": {
    "gcs": {
      "bucket": "my-gcs-bucket",
      "filename": "big_box_store/",
      "format": {
        "name": "bson.gz"
      }
    }
  }
}

gcs.regionは省略されているため、Atlas Data Federation はストレージ構成から my-gcs-bucket という名前のバケットがホストされているリージョンを決定します。$out は 5 つの圧縮された BSON ファイルを 書き込み (write)ます。

1. $outがbig_box_store/1.bson.gzと名前を付けるファイルへの最初の200 MiB のデータ。

   • gcs.filenameの値は、各ファイル名で定数として機能します。 この値は、ドキュメント フィールドまたは値に依存しません。

   • gcs.filenameは区切り文字で終わるため、Atlas Data Federation は 定数の後にカウンターを追加します。

   • 区切り文字で終了しない場合、Atlas Data Federation はbig_box_store.1.bson.gzのように 定数と カウンターの間に.を追加します。

   • gcs.format.maxFileSizeを使用して最大ファイルサイズを変更しなかったため、Atlas Data Federation はデフォルト値の 200 MiB を使用します。

2. $out が big_box_store/2.bson.gz と名付ける新しいファイルへの 2 番目の 200 MiB のデータ。

3. $out が big_box_store/3.bson.gz から big_box_store/5.bson.gz までの名前を付けるさらに 3 つのファイル。

ドキュメントの単一フィールド

my-gcs-bucket という名前の Google Cloud Storage バケットに、90 MiB のデータを JSON ファイルに書き込むとします。

次の $out 構文を使用します。

{
  "$out": {
    "gcs": {
      "bucket": "my-gcs-bucket",
      "region": "us-central1",
      "filename": {"$toString": "$saleDate"},
      "format": {
        "name": "json",
        "maxFileSize": "100MiB"
      }
    }
  }
}

$out は、バケットのルートにある JSON ファイルに 90 MiB のデータを書き込み (write)ます。各JSONファイルには、同じsaleDate値を持つすべてのドキュメントが含まれています。$outは、ドキュメントのsaleDate値をstringに変換して、各ファイルに名前を付けます。

ドキュメントの複数のフィールド

my-gcs-bucket という名前の Google Cloud Storage バケットに、176 MiBのデータを BSON ファイルとして書き込むとします。

次の $out 構文を使用します。

{
  "$out": {
    "gcs": {
      "bucket": "my-gcs-bucket",
      "region": "us-central1",
      "filename": {
        "$concat": [
          "persons/",
          "$name", "/",
          "$uniqueId", "/"
        ]
      },
      "format": {
        "name": "bson",
        "maxFileSize": "200MiB"
      }
    }
  }
}

$out は 176 MiB のデータを BSON ファイルに書き込み (write)ます。各ファイルに名前を付けるには、$out は次のものを連結します。

• 次のドキュメントからの 定数string persons/ と

  • nameフィールドの string 値、

  • フォワードスラッシュ（ / ）、

  • uniqueIdフィールドの string 値、および

  • フォワードスラッシュ（ / ）。

各BSONファイルには、同じnameとuniqueId値を持つすべてのドキュメントが含まれています。$outは、ドキュメントのnameとuniqueId値を使用して各ファイルに名前を付けます。

ドキュメントの複数のタイプのフィールド

my-gcs-bucket という名前の Google Cloud Storage バケットに、154 MiB のデータを圧縮 JSON ファイルとして書き込むとします。

次の$out構文を考えてみましょう。

{
  "$out": {
    "gcs": {
      "bucket": "my-gcs-bucket",
      "region": "us-central1",
      "filename": {
        "$concat": [
          "big-box-store/",
          {
            "$toString": "$storeNumber"
          }, "/",
          {
            "$toString": "$saleDate"
          }, "/",
          "$partId", "/"
        ]
      },
      "format": {
        "name": "json.gz",
        "maxFileSize": "200MiB"
      }
    }
  }
}

$outは圧縮された JSON ファイルに 154 MiB のデータを書き込み (write)ます。各ファイルには、同じ storeNumber、 saleDate、 partId値を持つすべてのドキュメントが含まれています。各ファイルに名前を付けるには、 $outは次の要素を連結します。

• big-box-store/ の定数string値、

• storeNumberフィールドの一意の店舗番号の string 値、

• フォワードスラッシュ（ / ）、

• saleDateフィールドからの日付の string 値、

• フォワードスラッシュ（ / ）、

• partIdフィールドからの 部分 ID の string 値、および

• フォワードスラッシュ（ / ）。

Atlas クラスターのコレクションへの書込み (write)

この $out 構文は、集計されたデータを myTestCluster という名前の Atlas クラスター内の sampleDB.mySampleData コレクションに送信します。構文ではプロジェクト ID は指定されていません。 $out は、フェデレーティッドデータベースインスタンスを含むプロジェクトの ID を使用します。

{
  "$out": {
    "atlas": {
      "clusterName": "myTestCluster",
      "db": "sampleDB",
      "coll": "mySampleData"
    }
  }
}

string データ型

Atlas Data Federation は、ファイル名を解析するときに空のstring（ "" ）を null 値として解釈します。Atlas Data Federation で解析可能なファイル名を生成する場合は、 $convert を使用して null 値を持つ可能性のあるフィールド参照を空のstring onNull 値とラップします。

この例では、 フィールド値からファイル名を作成するときに、 yearフィールドの null 値を処理する方法を示しています。

{
  "$out": {
    "s3": {
      "bucket": "my-s3-bucket",
      "region": "us-east-1",
      "filename": {
        "$concat": [
          "big-box-store/",
          {
            "$convert": {
              "input": "$year",
              "to": "string",
              "onNull": ""
            }
          }, "/"
        ]
      },
      "format": {
        "name": "json.gz",
        "maxFileSize": "200MiB"
      }
    }
  }
}

一意のフィールドの数

CSV 、 TSV 、またはPerquetファイル形式に書き込む場合、Atlas Data Federation は 32000 を超える一意のフィールドをサポートしません。

CSV および TSV ファイル形式

CSV または TSV 形式に書き込む場合、Atlas Data Federation はドキュメント内の次のデータ型をサポートしません。

• 配列

• DBポインタ

• JavaScript

• JavaScript コード（スコープ付き）

• 最小または最大のキー データ型

CSV ファイルでは、Atlas Data Federation はドット（ . ）表記を使用してネストされたドキュメントを表します。 たとえば、Atlas Data Federation は CSV ファイルに{ x: { a: 1, b: 2 } }を次のように書込みます。

x.a,x.b
1,2

Atlas Data Federation は、他のすべてのデータ型を string として表現します。 そのため、CSV ファイルから読み取られた MongoDB のデータ型は、データ型が書き込まれた元のBSONドキュメントのデータ型と異なる場合があります。

一部のファイル形式

Perquet の場合、Atlas Data Federation は null または未定義の値が欠落しているフィールドを読み取ります。これは、Parquet が null または未定義の値と欠落値を区別しないためです。 Atlas Data Federation はすべてのデータ型をサポートしていますが、JavaScript、正規表現など、Parquet に直接同等ではないBSONデータ型の場合は、次のようになります。

• 非 MongoDB ツールを使用して結果の一部のファイルを読み取れる表現を選択します。

• MongoDB スキーマを Perquet ファイルのキーと値のメタデータに保存し、Parquet ファイルが Atlas Data Federation によって読み取られた場合に、Atlas Data Federation が正しいデータ型で元のBSONドキュメントを再構築できるようにします。

次のBSONドキュメントを検討します。

{
  "clientId": 102,
  "phoneNumbers": ["123-4567", "234-5678"],
  "clientInfo": {
    "name": "Taylor",
    "occupation": "teacher"
  }
}
{
  "clientId": "237",
  "phoneNumbers": ["345-6789"],
  "clientInfo": {
    "name": "Jordan"
  }
}

$out を S3 に使用して上記の BSON ドキュメントを Perquet 形式に書き込むと、 BSON ドキュメントの Perquet ファイル スキーマは次のようになります。

message root {
  optional group clientId {
    optional int32 int;
    optional binary string (STRING);
  }
  optional group phoneNumbers (LIST) {
    repeated group list {
      optional binary element (STRING);
    }
  }
  optional group clientInfo {
    optional binary name (STRING);
    optional binary occupation (STRING);
  }
}

S3上の一部のデータは次のようになります。

clientId:
.int = 102
phoneNumbers:
.list:
..element = "123-4567"
.list:
..element = "234-5678"
clientInfo:
.name = "Taylor"
.occupation = "teacher"
clientId:
.string = "237"
phoneNumbers:
.list:
..element = "345-6789"
clientInfo:
.name = "Jordan"

上記の例は、Atlas Data Federation が複雑なデータ型を処理する方法を示しています。

• Atlas Data Federation は、すべてのレベルのドキュメントを Compass グループにマッピングします。

• Atlas Data Federation は、LIST 論理型と必須の 3 レベルのリストまたは要素構造を使用して配列をエンコードします。詳細については、「 リスト 」を参照してください。

• Atlas Data Federation は、多形BSONフィールドを複数の単一型列のグループにマッピングします。Parquet は多形列をサポートしていないためです。 Atlas Data Federation は、 BSONフィールドの後にグループに名前を付けます。 前の例では、Atlas Data Federation は、 clientIdという名前の多形フィールドに対してclientIdという名前の Perl グループを作成し、そのBSONタイプにちなんで命名された 2 つの子（ intとstring ）を持ちます。

string データ型

Atlas Data Federation は、ファイル名を解析するときに空のstring（ "" ）を null 値として解釈します。Atlas Data Federation で解析可能なファイル名を生成する場合は、 $convert を使用して null 値を持つ可能性のあるフィールド参照を空のstring onNull 値とラップします。

この例では、 フィールド値からファイル名を作成するときに、 yearフィールドの null 値を処理する方法を示しています。

{
  "$out": {
    "azure": {
      "serviceURL": "http://mystorageaccount.blob.core.windows.net/",
      "containerName": "my-container",
      "region": "eastus2",
      "filename": {
        "$concat": [
          "big-box-store/",
          {
            "$convert": {
              "input": "$year",
              "to": "string",
              "onNull": ""
            }
          }, "/"
        ]
      },
      "format": {
        "name": "json.gz",
        "maxFileSize": "200MiB"
      }
    }
  }
}

一意のフィールドの数

CSV 、 TSV 、またはPerquetファイル形式に書き込む場合、Atlas Data Federation は 32000 を超える一意のフィールドをサポートしません。

CSV および TSV ファイル形式

CSV または TSV 形式に書き込む場合、Atlas Data Federation はドキュメント内の次のデータ型をサポートしません。

• 配列

• DBポインタ

• JavaScript

• JavaScript コード（スコープ付き）

• 最小または最大のキー データ型

CSV ファイルでは、Atlas Data Federation はドット（ . ）表記を使用してネストされたドキュメントを表します。 たとえば、Atlas Data Federation は CSV ファイルに{ x: { a: 1, b: 2 } }を次のように書込みます。

x.a,x.b
1,2

Atlas Data Federation は、他のすべてのデータ型を string として表現します。 そのため、CSV ファイルから読み取られた MongoDB のデータ型は、データ型が書き込まれた元のBSONドキュメントのデータ型と異なる場合があります。

一部のファイル形式

Perquet の場合、Atlas Data Federation は null または未定義の値が欠落しているフィールドを読み取ります。これは、Parquet が null または未定義の値と欠落値を区別しないためです。 Atlas Data Federation はすべてのデータ型をサポートしていますが、JavaScript、正規表現など、Parquet に直接同等ではないBSONデータ型の場合は、次のようになります。

• 非 MongoDB ツールを使用して結果の一部のファイルを読み取れる表現を選択します。

• MongoDB スキーマを Perquet ファイルのキーと値のメタデータに保存し、Parquet ファイルが Atlas Data Federation によって読み取られた場合に、Atlas Data Federation が正しいデータ型で元のBSONドキュメントを再構築できるようにします。

次のBSONドキュメントを検討します。

{
  "clientId": 102,
  "phoneNumbers": ["123-4567", "234-5678"],
  "clientInfo": {
    "name": "Taylor",
    "occupation": "teacher"
  }
}
{
  "clientId": "237",
  "phoneNumbers": ["345-6789"],
  "clientInfo": {
    "name": "Jordan"
  }
}

Azure への $out を 使用して前述の BSON ドキュメントを Perquet 形式で書き込むと、 BSON ドキュメントの Perquet ファイル スキーマは次のようになります。

message root {
  optional group clientId {
    optional int32 int;
    optional binary string (STRING);
  }
  optional group phoneNumbers (LIST) {
    repeated group list {
      optional binary element (STRING);
    }
  }
  optional group clientInfo {
    optional binary name (STRING);
    optional binary occupation (STRING);
  }
}

Azure Blog ストレージの一部のデータは次のようになります。

clientId:
.int = 102
phoneNumbers:
.list:
..element = "123-4567"
.list:
..element = "234-5678"
clientInfo:
.name = "Taylor"
.occupation = "teacher"
clientId:
.string = "237"
phoneNumbers:
.list:
..element = "345-6789"
clientInfo:
.name = "Jordan"

上記の例は、Atlas Data Federation が複雑なデータ型を処理する方法を示しています。

• Atlas Data Federation は、すべてのレベルのドキュメントを Compass グループにマッピングします。

• Atlas Data Federation は、LIST 論理型と必須の 3 レベルのリストまたは要素構造を使用して配列をエンコードします。詳細については、「 リスト 」を参照してください。

• Atlas Data Federation は、多形BSONフィールドを複数の単一型列のグループにマッピングします。Parquet は多形列をサポートしていないためです。 Atlas Data Federation は、 BSONフィールドの後にグループに名前を付けます。 前の例では、Atlas Data Federation は、 clientIdという名前の多形フィールドに対してclientIdという名前の Perl グループを作成し、そのBSONタイプにちなんで命名された 2 つの子（ intとstring ）を持ちます。

string データ型

Atlas Data Federation は、ファイル名を解析するときに空のstring（ "" ）を null 値として解釈します。Atlas Data Federation で解析可能なファイル名を生成する場合は、 $convert を使用して null 値を持つ可能性のあるフィールド参照を空のstring onNull 値とラップします。

この例では、 フィールド値からファイル名を作成するときに、 yearフィールドの null 値を処理する方法を示しています。

{
  "$out": {
    "gcs": {
      "bucket": "my-gcs-bucket",
      "region": "us-central1",
      "filename": {
        "$concat": [
          "big-box-store/",
          {
            "$convert": {
              "input": "$year",
              "to": "string",
              "onNull": ""
            }
          }, "/"
        ]
      },
      "format": {
        "name": "json.gz",
        "maxFileSize": "200MiB"
      }
    }
  }
}

一意のフィールドの数

CSV 、 TSV 、またはPerquetファイル形式に書き込む場合、Atlas Data Federation は 32000 を超える一意のフィールドをサポートしません。

CSV および TSV ファイル形式

CSV または TSV 形式に書き込む場合、Atlas Data Federation はドキュメント内の次のデータ型をサポートしません。

• 配列

• DBポインタ

• JavaScript

• JavaScript コード（スコープ付き）

• 最小または最大のキー データ型

CSV ファイルでは、Atlas Data Federation はドット（ . ）表記を使用してネストされたドキュメントを表します。 たとえば、Atlas Data Federation は CSV ファイルに{ x: { a: 1, b: 2 } }を次のように書込みます。

x.a,x.b
1,2

Atlas Data Federation は、他のすべてのデータ型を string として表現します。 そのため、CSV ファイルから読み取られた MongoDB のデータ型は、データ型が書き込まれた元のBSONドキュメントのデータ型と異なる場合があります。

一部のファイル形式

Perquet の場合、Atlas Data Federation は null または未定義の値が欠落しているフィールドを読み取ります。これは、Parquet が null または未定義の値と欠落値を区別しないためです。 Atlas Data Federation はすべてのデータ型をサポートしていますが、JavaScript、正規表現など、Parquet に直接同等ではないBSONデータ型の場合は、次のようになります。

• 非 MongoDB ツールを使用して結果の一部のファイルを読み取れる表現を選択します。

• MongoDB スキーマを Perquet ファイルのキーと値のメタデータに保存し、Parquet ファイルが Atlas Data Federation によって読み取られた場合に、Atlas Data Federation が正しいデータ型で元のBSONドキュメントを再構築できるようにします。

次のBSONドキュメントを検討します。

{
  "clientId": 102,
  "phoneNumbers": ["123-4567", "234-5678"],
  "clientInfo": {
    "name": "Taylor",
    "occupation": "teacher"
  }
}
{
  "clientId": "237",
  "phoneNumbers": ["345-6789"],
  "clientInfo": {
    "name": "Jordan"
  }
}

上記の BSON ドキュメントを、$out を使用して GCP に Parquet 形式で書き込むと、BSON ドキュメントの Parquet ファイル スキーマは以下のようになります。

message root {
  optional group clientId {
    optional int32 int;
    optional binary string (STRING);
  }
  optional group phoneNumbers (LIST) {
    repeated group list {
      optional binary element (STRING);
    }
  }
  optional group clientInfo {
    optional binary name (STRING);
    optional binary occupation (STRING);
  }
}

Google Cloud Storage の Parquet データは次のようになります。

clientId:
.int = 102
phoneNumbers:
.list:
..element = "123-4567"
.list:
..element = "234-5678"
clientInfo:
.name = "Taylor"
.occupation = "teacher"
clientId:
.string = "237"
phoneNumbers:
.list:
..element = "345-6789"
clientInfo:
.name = "Jordan"

上記の例は、Atlas Data Federation が複雑なデータ型を処理する方法を示しています。

• Atlas Data Federation は、すべてのレベルのドキュメントを Compass グループにマッピングします。

• Atlas Data Federation は、LIST 論理型と必須の 3 レベルのリストまたは要素構造を使用して配列をエンコードします。詳細については、「 リスト 」を参照してください。

• Atlas Data Federation は、多形BSONフィールドを複数の単一型列のグループにマッピングします。Parquet は多形列をサポートしていないためです。 Atlas Data Federation は、 BSONフィールドの後にグループに名前を付けます。 前の例では、Atlas Data Federation は、 clientIdという名前の多形フィールドに対してclientIdという名前の Perl グループを作成し、そのBSONタイプにちなんで命名された 2 つの子（ intとstring ）を持ちます。