$out Etapa (Federación de Datos Atlas)

Desea escribir 1 GiB de datos como archivos BSON comprimidos en un depósito S3 my-s3-bucket llamado.

Usando la siguiente sintaxis $out:

1
{
2
  "$out": {
3
    "s3": {
4
      "bucket": "my-s3-bucket",
5
      "filename": "big_box_store/",
6
      "format": {
7
        "name": "bson.gz"
8
      }
9
    }
10
  }
11
}

Se omite el y,s3.region por lo tanto, Atlas Data Federation determina la región donde se aloja el depósito llamado a my-s3-bucket partir de la configuración de almacenamiento. $out escribe cinco archivos BSON comprimidos:

1. Los primeros 200 MiB de datos a un archivo que $out nombra big_box_store/1.bson.gz.

   • El valor s3.filename funciona como constante en cada nombre de archivo. Este valor no depende de ningún campo ni valor del documento.

   • Su s3.filename termina con un delimitador, por lo que Atlas Data Federation agrega el contador después de la constante.

   • Si no terminara con un delimitador, Atlas Data Federation habría agregado un . entre la constante y el contador, como big_box_store.1.bson.gz

   • Debido a que no cambió el tamaño máximo de archivo usando s3.format.maxFileSize, Atlas Data Federation usa el valor predeterminado de 200 MiB.

2. El segundo 200 MiB de datos a un nuevo archivo que $out big_box_store/2.bson.gzllama.

3. Tres archivos más que $out nombran big_box_store/3.bson.gz big_box_store/5.bson.gzdel al.

Desea escribir 90 MiB de datos en archivos JSON en un depósito S3 my-s3-bucket llamado.

Usando la siguiente sintaxis $out:

1
{
2
  "$out": {
3
    "s3": {
4
      "bucket": "my-s3-bucket",
5
      "region": "us-east-1",
6
      "filename": {"$toString": "$saleDate"},
7
      "format": {
8
        "name": "json",
9
        "maxFileSize": "100MiB"
10
      }
11
    }
12
  }
13
}

$out escribe 90 MiB de datos en archivos JSON en la raíz del bucket. Cada archivo JSON contiene todos los documentos con el mismo saleDate valor. $out nombra cada archivo utilizando el valor de los documentos, saleDate convertido a una cadena.

Desea escribir 176 MiB de datos como archivos BSON en un depósito S3 my-s3-bucket llamado.

Usando la siguiente sintaxis $out:

1
{
2
  "$out": {
3
    "s3": {
4
      "bucket": "my-s3-bucket",
5
      "region": "us-east-1",
6
      "filename": {
7
        "$concat": [
8
          "persons/",
9
          "$name", "/",
10
          "$uniqueId", "/"
11
        ]
12
      },
13
      "format": {
14
        "name": "bson",
15
        "maxFileSize": "200MiB"
16
      }
17
    }
18
  }
19
}

$out escribe 176 MiB de datos en archivos BSON.Para nombrar cada archivo, $out concatena:

• Una cadena constante persons/ y, de los documentos:

  • El valor de cadena del campo name,

  • Una barra diagonal (/),

  • El valor de la cadena del campo uniqueId, y

  • Una barra diagonal (/).

Cada archivo BSON contiene todos los documentos con los mismos name uniqueId valores y. $out nombra cada archivo utilizando losname uniqueId valores y de los documentos.

Desea escribir 154 MiB de datos como archivos JSON comprimidos en un depósito S3 my-s3-bucket llamado.

Considere la siguiente sintaxis $out:

1
{
2
  "$out": {
3
    "s3": {
4
      "bucket": "my-s3-bucket",
5
      "region": "us-east-1",
6
      "filename": {
7
        "$concat": [
8
          "big-box-store/",
9
          {
10
            "$toString": "$storeNumber"
11
          }, "/",
12
          {
13
            "$toString": "$saleDate"
14
          }, "/",
15
          "$partId", "/"
16
        ]
17
      },
18
      "format": {
19
        "name": "json.gz",
20
        "maxFileSize": "200MiB"
21
      }
22
    }
23
  }
24
}

$out escribe 154 MiB de datos en archivos JSON comprimidos, donde cada archivo contiene todos los documentos con los mismos storeNumber saleDate partId valores, y. Para nombrar cada archivo, $out concatena:

• Un valor de cadena constante de big-box-store/,

• Un valor de cadena de un número de tienda único en el campo storeNumber,

• Una barra diagonal (/),

• Un valor de cadena de la fecha del campo saleDate,

• Una barra diagonal (/),

• Un valor de cadena de ID de pieza del campo partId, y

• Una barra diagonal (/).

Se desea guardar 1 GiB de datos como archivos BSON comprimidos en una cuenta de almacenamiento Azure mystorageaccount y un contenedor llamado my-container.

Usando la siguiente sintaxis $out:

1
{
2
  "$out": {
3
    "azure": {
4
      "serviceURL": "http://mystorageaccount.blob.core.windows.net/",
5
      "container": "my-container",
6
      "filename": "big_box_store/",
7
      "format": {
8
        "name": "bson.gz"
9
      }
10
    }
11
  }
12
}

Se omite el y,azure.region por lo tanto, Atlas Data Federation determina la región donde está alojado el contenedor llamado a my-container partir de la configuración de almacenamiento. $out escribe cinco archivos BSON comprimidos:

1. Los primeros 200 MiB de datos a un archivo que $out nombra big_box_store/1.bson.gz.

   • El valor azure.filename funciona como constante en cada nombre de archivo. Este valor no depende de ningún campo ni valor del documento.

   • Su azure.filename termina con un delimitador, por lo que Atlas Data Federation agrega el contador después de la constante.

   • Si no terminara con un delimitador, Atlas Data Federation habría agregado un . entre la constante y el contador, como big_box_store.1.bson.gz

   • Debido a que no cambió el tamaño máximo de archivo usando azure.format.maxFileSize, Atlas Data Federation usa el valor predeterminado de 200 MiB.

2. El segundo 200 MiB de datos a un nuevo archivo que $out big_box_store/2.bson.gzllama.

3. Tres archivos más que $out nombran big_box_store/3.bson.gz big_box_store/5.bson.gzdel al.

Desea escribir 90 MiB de datos en archivos JSON en un contenedor de Azure Blob Storage my-container llamado.

Usando la siguiente sintaxis $out:

1
{
2
  "$out": {
3
    "azure": {
4
      "serviceURL": "http://mystorageaccount.blob.core.windows.net/",
5
      "container": "my-container",
6
      "region": "eastus2",
7
      "filename": {"$toString": "$saleDate"},
8
      "format": {
9
        "name": "json",
10
        "maxFileSize": "100MiB"
11
      }
12
    }
13
  }
14
}

$out escribe 90 MiB de datos en archivos JSON en la raíz del contenedor. Cada archivo JSON contiene todos los documentos con el mismo saleDate valor. $out nombra cada archivo utilizando el valor de los documentos, saleDate convertido a una cadena.

Desea escribir 176 MiB de datos como archivos BSON en un contenedor de Azure Blob Storage my-container llamado.

Usando la siguiente sintaxis $out:

1
{
2
  "$out": {
3
    "azure": {
4
      "serviceURL": "http://mystorageaccount.blob.core.windows.net/",
5
      "container": "my-container",
6
      "region": "eastus2",
7
      "filename": {
8
        "$concat": [
9
          "persons/",
10
          "$name", "/",
11
          "$uniqueId", "/"
12
        ]
13
      },
14
      "format": {
15
        "name": "bson",
16
        "maxFileSize": "200MiB"
17
      }
18
    }
19
  }
20
}

$out escribe 176 MiB de datos en archivos BSON.Para nombrar cada archivo, $out concatena:

• Una cadena constante persons/ y, de los documentos:

  • El valor de cadena del campo name,

  • Una barra diagonal (/),

  • El valor de la cadena del campo uniqueId, y

  • Una barra diagonal (/).

Cada archivo BSON contiene todos los documentos con los mismos name uniqueId valores y. $out nombra cada archivo utilizando losname uniqueId valores y de los documentos.

Desea escribir 154 MiB de datos como archivos JSON comprimidos en un contenedor de Azure Blob Storage my-container llamado.

Considere la siguiente sintaxis $out:

1
{
2
  "$out": {
3
    "azure": {
4
      "serviceURL": "http://mystorageaccount.blob.core.windows.net/",
5
      "container": "my-container",
6
      "region": "eastus2",
7
      "filename": {
8
        "$concat": [
9
          "big-box-store/",
10
          {
11
            "$toString": "$storeNumber"
12
          }, "/",
13
          {
14
            "$toString": "$saleDate"
15
          }, "/",
16
          "$partId", "/"
17
        ]
18
      },
19
      "format": {
20
        "name": "json.gz",
21
        "maxFileSize": "200MiB"
22
      }
23
    }
24
  }
25
}

$out escribe 154 MiB de datos en archivos JSON comprimidos, donde cada archivo contiene todos los documentos con los mismos storeNumber saleDate partId valores, y. Para nombrar cada archivo, $out concatena:

• Un valor de cadena constante de big-box-store/,

• Un valor de cadena de un número de tienda único en el campo storeNumber,

• Una barra diagonal (/),

• Un valor de cadena de la fecha del campo saleDate,

• Una barra diagonal (/),

• Un valor de cadena de ID de pieza del campo partId, y

• Una barra diagonal (/).

Desea escribir 1 GiB de datos como archivos BSON comprimidos en un depósito de Google Cloud Storage my-gcs-bucket llamado.

Usando la siguiente sintaxis $out:

1
{
2
  "$out": {
3
    "gcs": {
4
      "bucket": "my-gcs-bucket",
5
      "filename": "big_box_store/",
6
      "format": {
7
        "name": "bson.gz"
8
      }
9
    }
10
  }
11
}

Se omite el y,gcs.region por lo tanto, Atlas Data Federation determina la región donde se aloja el depósito llamado a my-gcs-bucket partir de la configuración de almacenamiento. $out escribe cinco archivos BSON comprimidos:

1. Los primeros 200 MiB de datos a un archivo que $out nombra big_box_store/1.bson.gz.

   • El valor gcs.filename funciona como constante en cada nombre de archivo. Este valor no depende de ningún campo ni valor del documento.

   • Su gcs.filename termina con un delimitador, por lo que Atlas Data Federation agrega el contador después de la constante.

   • Si no terminara con un delimitador, Atlas Data Federation habría agregado un . entre la constante y el contador, como big_box_store.1.bson.gz

   • Debido a que no cambió el tamaño máximo de archivo usando gcs.format.maxFileSize, Atlas Data Federation usa el valor predeterminado de 200 MiB.

2. El segundo 200 MiB de datos a un nuevo archivo que $out big_box_store/2.bson.gzllama.

3. Tres archivos más que $out nombran big_box_store/3.bson.gz big_box_store/5.bson.gzdel al.

Desea escribir 90 MiB de datos en archivos JSON en un depósito de Google Cloud Storage my-gcs-bucket llamado.

Usando la siguiente sintaxis $out:

1
{
2
  "$out": {
3
    "gcs": {
4
      "bucket": "my-gcs-bucket",
5
      "region": "us-central1",
6
      "filename": {"$toString": "$saleDate"},
7
      "format": {
8
        "name": "json",
9
        "maxFileSize": "100MiB"
10
      }
11
    }
12
  }
13
}

$out escribe 90 MiB de datos en archivos JSON en la raíz del bucket. Cada archivo JSON contiene todos los documentos con el mismo saleDate valor. $out nombra cada archivo utilizando el valor de los documentos, saleDate convertido a una cadena.

Desea escribir 176 MiB de datos como archivos BSON en un depósito de Google Cloud Storage llamado. my-gcs-bucket

Usando la siguiente sintaxis $out:

1
{
2
  "$out": {
3
    "gcs": {
4
      "bucket": "my-gcs-bucket",
5
      "region": "us-central1",
6
      "filename": {
7
        "$concat": [
8
          "persons/",
9
          "$name", "/",
10
          "$uniqueId", "/"
11
        ]
12
      },
13
      "format": {
14
        "name": "bson",
15
        "maxFileSize": "200MiB"
16
      }
17
    }
18
  }
19
}

$out escribe 176 MiB de datos en archivos BSON.Para nombrar cada archivo, $out concatena:

• Una cadena constante persons/ y, de los documentos:

  • El valor de cadena del campo name,

  • Una barra diagonal (/),

  • El valor de la cadena del campo uniqueId, y

  • Una barra diagonal (/).

Cada archivo BSON contiene todos los documentos con los mismos name uniqueId valores y. $out nombra cada archivo utilizando losname uniqueId valores y de los documentos.

Desea escribir 154 MiB de datos como archivos JSON comprimidos en un depósito de Google Cloud Storage my-gcs-bucket llamado.

Considere la siguiente sintaxis $out:

1
{
2
  "$out": {
3
    "gcs": {
4
      "bucket": "my-gcs-bucket",
5
      "region": "us-central1",
6
      "filename": {
7
        "$concat": [
8
          "big-box-store/",
9
          {
10
            "$toString": "$storeNumber"
11
          }, "/",
12
          {
13
            "$toString": "$saleDate"
14
          }, "/",
15
          "$partId", "/"
16
        ]
17
      },
18
      "format": {
19
        "name": "json.gz",
20
        "maxFileSize": "200MiB"
21
      }
22
    }
23
  }
24
}

$out escribe 154 MiB de datos en archivos JSON comprimidos, donde cada archivo contiene todos los documentos con los mismos storeNumber saleDate partId valores, y. Para nombrar cada archivo, $out concatena:

• Un valor de cadena constante de big-box-store/,

• Un valor de cadena de un número de tienda único en el campo storeNumber,

• Una barra diagonal (/),

• Un valor de cadena de la fecha del campo saleDate,

• Una barra diagonal (/),

• Un valor de cadena de ID de pieza del campo partId, y

• Una barra diagonal (/).

Este ejemplo muestra cómo manejar valores nulos en el campo year al crear un nombre de archivo a partir del valor del campo.

1
{
2
  "$out": {
3
    "s3": {
4
      "bucket": "my-s3-bucket",
5
      "region": "us-east-1",
6
      "filename": {
7
        "$concat": [
8
          "big-box-store/",
9
          {
10
            "$convert": {
11
              "input": "$year",
12
              "to": "string",
13
              "onNull": ""
14
            }
15
          }, "/"
16
        ]
17
      },
18
      "format": {
19
        "name": "json.gz",
20
        "maxFileSize": "200MiB"
21
      }
22
    }
23
  }
24
}

Considere los siguientes documentos BSON:

{
  "clientId": 102,
  "phoneNumbers": ["123-4567", "234-5678"],
  "clientInfo": {
    "name": "Taylor",
    "occupation": "teacher"
  }
}
{
  "clientId": "237",
  "phoneNumbers" ["345-6789"]
  "clientInfo": {
    "name": "Jordan"
  }
}

Si guardas los documentos BSON mencionados anteriormente en formato Parquet utilizando $out a S3, el esquema del archivo Parquet para los documentos BSON se parecería al siguiente:

message root {
  optional group clientId {
    optional int32 int;
    optional binary string; (STRING)
  }
  optional group phoneNumbers (LIST) {
    repeated group list {
      optional binary element (STRING);
    }
  }
  optional group clientInfo {
    optional binary name (STRING);
    optional binary occupation (STRING);
  }
}

Los datos de Parquet en S3 se verían similares a los siguientes:

1
clientId:
2
.int = 102
3
phoneNumbers:
4
.list:
5
..element = "123-4567"
6
.list:
7
..element = "234-5678"
8
clientInfo:
9
.name = "Taylor"
10
.occupation = "teacher"
11
12
clientId:
13
.string = "237"
14
phoneNumbers:
15
.list:
16
..element = "345-6789"
17
clientInfo:
18
.name = "Jordan"

El ejemplo anterior demuestra cómo Atlas Data Federation maneja tipos de datos complejos:

• Atlas Data Federation asigna documentos de todos los niveles a un grupo Parquet.

• Atlas Data Federation codifica matrices utilizando el LIST tipo lógico y la estructura obligatoria de lista o elemento de tres niveles. Para obtener más información, consulte Listas.

• Atlas Data Federation asigna campos BSON polimórficos a un grupo de varias columnas de un solo tipo, ya que Parquet no admite columnas polimórficas. Atlas Data Federation asigna al grupo el nombre del campo BSON. En el ejemplo anterior, Atlas Data Federation crea un grupo Parquet llamado clientId para el campo polimórfico clientId con dos hijos llamados y, int stringrespectivamente.

Este ejemplo muestra cómo manejar valores nulos en el campo year al crear un nombre de archivo a partir del valor del campo.

1
{
2
  "$out": {
3
    "azure": {
4
      "serviceURL": "http://mystorageaccount.blob.core.windows.net/",
5
      "container": "my-container",
6
      "region": "eastus2",
7
      "filename": {
8
        "$concat": [
9
          "big-box-store/",
10
          {
11
            "$convert": {
12
              "input": "$year",
13
              "to": "string",
14
              "onNull": ""
15
            }
16
          }, "/"
17
        ]
18
      },
19
      "format": {
20
        "name": "json.gz",
21
        "maxFileSize": "200MiB"
22
      }
23
    }
24
  }
25
}

Considere los siguientes documentos BSON:

{
  "clientId": 102,
  "phoneNumbers": ["123-4567", "234-5678"],
  "clientInfo": {
    "name": "Taylor",
    "occupation": "teacher"
  }
}
{
  "clientId": "237",
  "phoneNumbers" ["345-6789"]
  "clientInfo": {
    "name": "Jordan"
  }
}

Si escribe los documentos BSON anteriores en formato Parquet mediante $out en Azure, el esquema de archivo Parquet para sus documentos BSON se verá similar al siguiente:

message root {
  optional group clientId {
    optional int32 int;
    optional binary string (STRING);
  }
  optional group phoneNumbers (LIST) {
    repeated group list {
      optional binary element (STRING);
    }
  }
  optional group clientInfo {
    optional binary name (STRING);
    optional binary occupation (STRING);
  }
}

Los datos de Parquet en Azure Blob Storage se verían similares a los siguientes:

1
clientId:
2
.int = 102
3
phoneNumbers:
4
.list:
5
..element = "123-4567"
6
.list:
7
..element = "234-5678"
8
clientInfo:
9
.name = "Taylor"
10
.occupation = "teacher"
11
12
clientId:
13
.string = "237"
14
phoneNumbers:
15
.list:
16
..element = "345-6789"
17
clientInfo:
18
.name = "Jordan"

El ejemplo anterior demuestra cómo Atlas Data Federation maneja tipos de datos complejos:

• Atlas Data Federation asigna documentos de todos los niveles a un grupo Parquet.

• Atlas Data Federation codifica matrices utilizando el LIST tipo lógico y la estructura obligatoria de lista o elemento de tres niveles. Para obtener más información, consulte Listas.

• Atlas Data Federation asigna campos BSON polimórficos a un grupo de varias columnas de un solo tipo, ya que Parquet no admite columnas polimórficas. Atlas Data Federation asigna al grupo el nombre del campo BSON. En el ejemplo anterior, Atlas Data Federation crea un grupo Parquet llamado clientId para el campo polimórfico clientId con dos hijos llamados y, int stringrespectivamente.

Este ejemplo muestra cómo manejar valores nulos en el campo year al crear un nombre de archivo a partir del valor del campo.

1
{
2
  "$out": {
3
    "gcs": {
4
      "bucket": "my-gcs-bucket",
5
      "region": "us-central1",
6
      "filename": {
7
        "$concat": [
8
          "big-box-store/",
9
          {
10
            "$convert": {
11
              "input": "$year",
12
              "to": "string",
13
              "onNull": ""
14
            }
15
          }, "/"
16
        ]
17
      },
18
      "format": {
19
        "name": "json.gz",
20
        "maxFileSize": "200MiB"
21
      }
22
    }
23
  }
24
}

Considere los siguientes documentos BSON:

{
  "clientId": 102,
  "phoneNumbers": ["123-4567", "234-5678"],
  "clientInfo": {
    "name": "Taylor",
    "occupation": "teacher"
  }
}
{
  "clientId": "237",
  "phoneNumbers" ["345-6789"]
  "clientInfo": {
    "name": "Jordan"
  }
}

Si escribe los documentos BSON anteriores en formato Parquet usando $out en GCP, el esquema de archivo Parquet para sus documentos BSON se verá similar al siguiente:

message root {
  optional group clientId {
    optional int32 int;
    optional binary string; (STRING)
  }
  optional group phoneNumbers (LIST) {
    repeated group list {
      optional binary element (STRING);
    }
  }
  optional group clientInfo {
    optional binary name (STRING);
    optional binary occupation (STRING);
  }
}

Sus datos de Parquet en Google Cloud Storage se verían similares a los siguientes:

1
clientId:
2
.int = 102
3
phoneNumbers:
4
.list:
5
..element = "123-4567"
6
.list:
7
..element = "234-5678"
8
clientInfo:
9
.name = "Taylor"
10
.occupation = "teacher"
11
12
clientId:
13
.string = "237"
14
phoneNumbers:
15
.list:
16
..element = "345-6789"
17
clientInfo:
18
.name = "Jordan"

El ejemplo anterior demuestra cómo Atlas Data Federation maneja tipos de datos complejos:

• Atlas Data Federation asigna documentos de todos los niveles a un grupo Parquet.

• Atlas Data Federation codifica matrices utilizando el LIST tipo lógico y la estructura obligatoria de lista o elemento de tres niveles. Para obtener más información, consulte Listas.

• Atlas Data Federation asigna campos BSON polimórficos a un grupo de varias columnas de un solo tipo, ya que Parquet no admite columnas polimórficas. Atlas Data Federation asigna al grupo el nombre del campo BSON. En el ejemplo anterior, Atlas Data Federation crea un grupo Parquet llamado clientId para el campo polimórfico clientId con dos hijos llamados y, int stringrespectivamente.