Parquet

Perk 形式について

Apache Parquet は、分析ワークロードにメジャーされる無料のオープンソースファイル形式です。Partquet は行ではなく列をまとめて保存します。配列やネストされたドキュメントなどの複雑なデータ構造をサポートする固定スキーマ形式です。これらの機能には、次の利点があります。

パフォーマンスクエリ。 Perquet は列指向であるため、Parquet データに対するクエリは非常にパフォーマンスが良くなります。たとえば、数千の列から 1 つだけを選択するクエリは、各行で値を検索しようとするのではなく、Parquet ファイルからそのデータをすぐに抽出できます。
効率的なストレージ。 Perl は列を連続して保存するため、非常に効率的な圧縮を可能にします。部分一致では、特定の列の値が同じ型である必要があり、列の値は通常他の列の値よりも類似している必要があります。これにより、より幅広いエンコードと圧縮スキームが可能になります。
分析ツールとの互換性。 Partquet ファイルには固定のスキーマがあるため、Parquet データは、表形式の固定スキーマ形式のデータを必要とする多くの分析ツールと互換性があります。

Atlas Data Federation は、Parquet データファイルの読み取りと書込みができます。

読み取り保証（read concern）。 Atlas Data Federation を使用して、S から3 Compass データをクエリできます。これらのクエリは、他のデータ形式に対するクエリよりもパフォーマンスが高い可能性があります。 Perquet データに対するクエリが他のデータ形式よりもパフォーマンスが高い理由の詳細については、「 Perquet 形式について」を参照してください。
書き込み許可。 Atlas Data Federation では、 $out から S3ステージを使用して Parquet にデータを書き込むこともできます。 Atlas Data Federation は、Parquet に書き込む MongoDB データに基づいて、使用する Perquet スキーマを自動的に推測します。データをサーバーなどの別の分析ツールでクエリする場合は、データを Perquet データ形式に変換できます。

$out から S 3ステージへの $out 中に Atlas Data Federation が Perquet ファイル形式に書き込む方法の詳細については、「 Perquet ファイル形式」を参照してください。