$out Etapa (Atlas Data Federation)

Quieres guardar 1 GiB de datos como archivos BSON comprimidos en un bucket S3 llamado my-s3-bucket.

Usando la siguiente sintaxis $out :

1
{
2
  "$out": {
3
    "s3": {
4
      "bucket": "my-s3-bucket",
5
      "filename": "big_box_store/",
6
      "format": {
7
        "name": "bson.gz"
8
      }
9
    }
10
  }
11
}

Se omite el s3.region y, por lo tanto, Atlas Data Federation determina la región donde se aloja el bucket llamado my-s3-bucket a partir de la configuración de almacenamiento. $out escribe cinco archivos BSON comprimidos:

1. Los primeros 200 MiB de datos a un archivo que $out nombra big_box_store/1.bson.gz.

   • El valor s3.filename funciona como constante en cada nombre de archivo. Este valor no depende de ningún campo ni valor del documento.

   • Su s3.filename termina con un delimitador, por lo que Atlas Data Federation agrega el contador después de la constante.

   • Si no terminaba con un delimitador, Atlas Data Federation habría agregado un . entre la constante y el contador, como big_box_store.1.bson.gz

   • Debido a que no cambió el tamaño máximo de archivo utilizando s3.format.maxFileSize, Atlas Data Federation usa el valor predeterminado de 200 MiB.

2. Los segundos 200 MiB de datos a un nuevo archivo que $out nombra big_box_store/2.bson.gz.

3. Tres archivos más que $out nombra del big_box_store/3.bson.gz al big_box_store/5.bson.gz.

Deseas guardar 90 MiB de datos en archivos JSON en un bucket S3 llamado my-s3-bucket.

Usando la siguiente sintaxis $out :

1
{
2
  "$out": {
3
    "s3": {
4
      "bucket": "my-s3-bucket",
5
      "region": "us-east-1",
6
      "filename": {"$toString": "$saleDate"},
7
      "format": {
8
        "name": "json",
9
        "maxFileSize": "100MiB"
10
      }
11
    }
12
  }
13
}

$out escribe 90 MiB de datos en archivos JSON en la raíz del bucket. Cada archivo JSON contiene todos los documentos con el mismo valor de saleDate. $out nombra cada archivo utilizando el valor saleDate de los documentos convertido en una string.

Quieres guardar 176 MiB de datos como archivos BSON en un bucket S3 llamado my-s3-bucket.

Usando la siguiente sintaxis $out :

1
{
2
  "$out": {
3
    "s3": {
4
      "bucket": "my-s3-bucket",
5
      "region": "us-east-1",
6
      "filename": {
7
        "$concat": [
8
          "persons/",
9
          "$name", "/",
10
          "$uniqueId", "/"
11
        ]
12
      },
13
      "format": {
14
        "name": "bson",
15
        "maxFileSize": "200MiB"
16
      }
17
    }
18
  }
19
}

$out escribe 176 MiB de datos en archivos BSON. Para nombrar cada archivo, $out concatena:

• Una string constante persons/ y, de los documentos:

  • El valor string del campo name,

  • Una barra diagonal (/),

  • El valor de la string del campo uniqueId, y

  • Una barra diagonal (/).

Cada archivo BSON contiene todos los documentos con los mismos valores de name y uniqueId. $out nombra cada archivo utilizando los valores de name y uniqueId de los documentos.

Deseas guardar 154 MiB de datos como archivos comprimidos JSON en un bucket S3 llamado my-s3-bucket.

Considera la siguiente sintaxis $out:

1
{
2
  "$out": {
3
    "s3": {
4
      "bucket": "my-s3-bucket",
5
      "region": "us-east-1",
6
      "filename": {
7
        "$concat": [
8
          "big-box-store/",
9
          {
10
            "$toString": "$storeNumber"
11
          }, "/",
12
          {
13
            "$toString": "$saleDate"
14
          }, "/",
15
          "$partId", "/"
16
        ]
17
      },
18
      "format": {
19
        "name": "json.gz",
20
        "maxFileSize": "200MiB"
21
      }
22
    }
23
  }
24
}

$out escribe 154 MiB de datos en archivos JSON comprimidos, donde cada archivo contiene todos los documentos con los mismos storeNumber saleDate partId valores, y. Para nombrar cada archivo, $out concatena:

• Un valor de cadena constante de big-box-store/,

• Un valor string que representa la identificación única de una tienda perteneciente al campo storeNumber.

• Una barra diagonal (/),

• Un valor de cadena de la fecha del campo saleDate,

• Una barra diagonal (/),

• Un valor de string del identificador de parte del campo partId, y

• Una barra diagonal (/).

Se desea guardar 1 GiB de datos como archivos BSON comprimidos en una cuenta de almacenamiento Azure mystorageaccount y un contenedor llamado my-container.

Usando la siguiente sintaxis $out :

1
{
2
  "$out": {
3
    "azure": {
4
      "serviceURL": "http://mystorageaccount.blob.core.windows.net/",
5
      "container": "my-container",
6
      "filename": "big_box_store/",
7
      "format": {
8
        "name": "bson.gz"
9
      }
10
    }
11
  }
12
}

Se omite el y,azure.region por lo tanto, Atlas Data Federation determina la región donde está alojado el contenedor llamado a my-container partir de la configuración de almacenamiento. $out escribe cinco archivos BSON comprimidos:

1. Los primeros 200 MiB de datos a un archivo que $out nombra big_box_store/1.bson.gz.

   • El valor azure.filename funciona como constante en cada nombre de archivo. Este valor no depende de ningún campo ni valor del documento.

   • Su azure.filename termina con un delimitador, por lo que Atlas Data Federation agrega el contador después de la constante.

   • Si no terminaba con un delimitador, Atlas Data Federation habría agregado un . entre la constante y el contador, como big_box_store.1.bson.gz

   • Debido a que no cambió el tamaño máximo de archivo utilizando azure.format.maxFileSize, Atlas Data Federation usa el valor predeterminado de 200 MiB.

2. Los segundos 200 MiB de datos a un nuevo archivo que $out nombra big_box_store/2.bson.gz.

3. Tres archivos más que $out nombra del big_box_store/3.bson.gz al big_box_store/5.bson.gz.

Se desea guardar MiB 90 de datos en archivos JSON en un contenedor de Azure Blob Storage my-container llamado.

Usando la siguiente sintaxis $out :

1
{
2
  "$out": {
3
    "azure": {
4
      "serviceURL": "http://mystorageaccount.blob.core.windows.net/",
5
      "container": "my-container",
6
      "region": "eastus2",
7
      "filename": {"$toString": "$saleDate"},
8
      "format": {
9
        "name": "json",
10
        "maxFileSize": "100MiB"
11
      }
12
    }
13
  }
14
}

$out escribe 90 MiB de datos en archivos JSON en la raíz del contenedor. Cada archivo JSON contiene todos los documentos con el mismo saleDate valor. $out nombra cada archivo utilizando el valor de los documentos, saleDate convertido a una cadena.

Quieres guardar 176 MiB de datos como archivos BSON en un contenedor de Azure Blob Almacenamiento my-container llamado.

Usando la siguiente sintaxis $out :

1
{
2
  "$out": {
3
    "azure": {
4
      "serviceURL": "http://mystorageaccount.blob.core.windows.net/",
5
      "container": "my-container",
6
      "region": "eastus2",
7
      "filename": {
8
        "$concat": [
9
          "persons/",
10
          "$name", "/",
11
          "$uniqueId", "/"
12
        ]
13
      },
14
      "format": {
15
        "name": "bson",
16
        "maxFileSize": "200MiB"
17
      }
18
    }
19
  }
20
}

$out escribe 176 MiB de datos en archivos BSON. Para nombrar cada archivo, $out concatena:

• Una string constante persons/ y, de los documentos:

  • El valor string del campo name,

  • Una barra diagonal (/),

  • El valor de la string del campo uniqueId, y

  • Una barra diagonal (/).

Cada archivo BSON contiene todos los documentos con los mismos valores de name y uniqueId. $out nombra cada archivo utilizando los valores de name y uniqueId de los documentos.

Desea escribir 154 MiB de datos como archivos JSON comprimidos en un contenedor de Azure Blob Storage my-container llamado.

Considera la siguiente sintaxis $out:

1
{
2
  "$out": {
3
    "azure": {
4
      "serviceURL": "http://mystorageaccount.blob.core.windows.net/",
5
      "container": "my-container",
6
      "region": "eastus2",
7
      "filename": {
8
        "$concat": [
9
          "big-box-store/",
10
          {
11
            "$toString": "$storeNumber"
12
          }, "/",
13
          {
14
            "$toString": "$saleDate"
15
          }, "/",
16
          "$partId", "/"
17
        ]
18
      },
19
      "format": {
20
        "name": "json.gz",
21
        "maxFileSize": "200MiB"
22
      }
23
    }
24
  }
25
}

$out escribe 154 MiB de datos en archivos JSON comprimidos, donde cada archivo contiene todos los documentos con los mismos storeNumber saleDate partId valores, y. Para nombrar cada archivo, $out concatena:

• Un valor de cadena constante de big-box-store/,

• Un valor string que representa la identificación única de una tienda perteneciente al campo storeNumber.

• Una barra diagonal (/),

• Un valor de cadena de la fecha del campo saleDate,

• Una barra diagonal (/),

• Un valor de string del identificador de parte del campo partId, y

• Una barra diagonal (/).

Desea escribir 1 GiB de datos como archivos BSON comprimidos en un depósito de Google Cloud Storage my-gcs-bucket llamado.

Usando la siguiente sintaxis $out :

1
{
2
  "$out": {
3
    "gcs": {
4
      "bucket": "my-gcs-bucket",
5
      "filename": "big_box_store/",
6
      "format": {
7
        "name": "bson.gz"
8
      }
9
    }
10
  }
11
}

Se omite el gcs.region y, por lo tanto, Atlas Data Federation determina la región donde se aloja el bucket llamado my-gcs-bucket a partir de la configuración de almacenamiento. $out escribe cinco archivos BSON comprimidos:

1. Los primeros 200 MiB de datos a un archivo que $out nombra big_box_store/1.bson.gz.

   • El valor gcs.filename funciona como constante en cada nombre de archivo. Este valor no depende de ningún campo ni valor del documento.

   • Su gcs.filename termina con un delimitador, por lo que Atlas Data Federation agrega el contador después de la constante.

   • Si no terminaba con un delimitador, Atlas Data Federation habría agregado un . entre la constante y el contador, como big_box_store.1.bson.gz

   • Debido a que no cambió el tamaño máximo de archivo utilizando gcs.format.maxFileSize, Atlas Data Federation usa el valor predeterminado de 200 MiB.

2. Los segundos 200 MiB de datos a un nuevo archivo que $out nombra big_box_store/2.bson.gz.

3. Tres archivos más que $out nombra del big_box_store/3.bson.gz al big_box_store/5.bson.gz.

Desea escribir 90 MiB de datos en archivos JSON en un depósito de Google Cloud Storage my-gcs-bucket llamado.

Usando la siguiente sintaxis $out :

1
{
2
  "$out": {
3
    "gcs": {
4
      "bucket": "my-gcs-bucket",
5
      "region": "us-central1",
6
      "filename": {"$toString": "$saleDate"},
7
      "format": {
8
        "name": "json",
9
        "maxFileSize": "100MiB"
10
      }
11
    }
12
  }
13
}

$out escribe 90 MiB de datos en archivos JSON en la raíz del bucket. Cada archivo JSON contiene todos los documentos con el mismo valor de saleDate. $out nombra cada archivo utilizando el valor saleDate de los documentos convertido en una string.

Quieres guardar 176 MiB de datos como archivos BSON en un bucket de Google Cloud almacenamiento llamado my-gcs-bucket.

Usando la siguiente sintaxis $out :

1
{
2
  "$out": {
3
    "gcs": {
4
      "bucket": "my-gcs-bucket",
5
      "region": "us-central1",
6
      "filename": {
7
        "$concat": [
8
          "persons/",
9
          "$name", "/",
10
          "$uniqueId", "/"
11
        ]
12
      },
13
      "format": {
14
        "name": "bson",
15
        "maxFileSize": "200MiB"
16
      }
17
    }
18
  }
19
}

$out escribe 176 MiB de datos en archivos BSON. Para nombrar cada archivo, $out concatena:

• Una string constante persons/ y, de los documentos:

  • El valor string del campo name,

  • Una barra diagonal (/),

  • El valor de la string del campo uniqueId, y

  • Una barra diagonal (/).

Cada archivo BSON contiene todos los documentos con los mismos valores de name y uniqueId. $out nombra cada archivo utilizando los valores de name y uniqueId de los documentos.

Quieres guardar 154 MiB de datos como archivos comprimidos JSON en un bucket de Google Cloud Almacenamiento llamado my-gcs-bucket.

Considera la siguiente sintaxis $out:

1
{
2
  "$out": {
3
    "gcs": {
4
      "bucket": "my-gcs-bucket",
5
      "region": "us-central1",
6
      "filename": {
7
        "$concat": [
8
          "big-box-store/",
9
          {
10
            "$toString": "$storeNumber"
11
          }, "/",
12
          {
13
            "$toString": "$saleDate"
14
          }, "/",
15
          "$partId", "/"
16
        ]
17
      },
18
      "format": {
19
        "name": "json.gz",
20
        "maxFileSize": "200MiB"
21
      }
22
    }
23
  }
24
}

$out escribe 154 MiB de datos en archivos JSON comprimidos, donde cada archivo contiene todos los documentos con los mismos storeNumber saleDate partId valores, y. Para nombrar cada archivo, $out concatena:

• Un valor de cadena constante de big-box-store/,

• Un valor string que representa la identificación única de una tienda perteneciente al campo storeNumber.

• Una barra diagonal (/),

• Un valor de cadena de la fecha del campo saleDate,

• Una barra diagonal (/),

• Un valor de string del identificador de parte del campo partId, y

• Una barra diagonal (/).

Este ejemplo muestra cómo manejar valores nulos en el campo year al crear un nombre de archivo a partir del valor del campo.

1
{
2
  "$out": {
3
    "s3": {
4
      "bucket": "my-s3-bucket",
5
      "region": "us-east-1",
6
      "filename": {
7
        "$concat": [
8
          "big-box-store/",
9
          {
10
            "$convert": {
11
              "input": "$year",
12
              "to": "string",
13
              "onNull": ""
14
            }
15
          }, "/"
16
        ]
17
      },
18
      "format": {
19
        "name": "json.gz",
20
        "maxFileSize": "200MiB"
21
      }
22
    }
23
  }
24
}

Considere los siguientes documentos BSON:

{
  "clientId": 102,
  "phoneNumbers": ["123-4567", "234-5678"],
  "clientInfo": {
    "name": "Taylor",
    "occupation": "teacher"
  }
}
{
  "clientId": "237",
  "phoneNumbers" ["345-6789"]
  "clientInfo": {
    "name": "Jordan"
  }
}

Si guardas los documentos BSON mencionados anteriormente en formato Parquet utilizando $out a S3, el esquema del archivo Parquet para los documentos BSON se parecería al siguiente:

message root {
  optional group clientId {
    optional int32 int;
    optional binary string; (STRING)
  }
  optional group phoneNumbers (LIST) {
    repeated group list {
      optional binary element (STRING);
    }
  }
  optional group clientInfo {
    optional binary name (STRING);
    optional binary occupation (STRING);
  }
}

Tus datos Parquet en S3 se verían similares a los siguientes:

1
clientId:
2
.int = 102
3
phoneNumbers:
4
.list:
5
..element = "123-4567"
6
.list:
7
..element = "234-5678"
8
clientInfo:
9
.name = "Taylor"
10
.occupation = "teacher"
11
12
clientId:
13
.string = "237"
14
phoneNumbers:
15
.list:
16
..element = "345-6789"
17
clientInfo:
18
.name = "Jordan"

El ejemplo anterior demuestra cómo Atlas Data Federation gestiona los tipos de datos complejos:

• Atlas Data Federation mapea documentos en todos los niveles a un grupo Parquet.

• Atlas Data Federation codifica arreglos usando el tipo lógico LIST y la estructura obligatoria de lista o elemento de tres niveles. Para obtener más información, consulta Listas.

• Atlas Data Federation asigna campos BSON polimórficos a un grupo de varias columnas de un solo tipo, ya que Parquet no admite columnas polimórficas. Atlas Data Federation asigna al grupo el nombre del campo BSON. En el ejemplo anterior, Atlas Data Federation crea un grupo Parquet llamado clientId para el campo polimórfico clientId con dos hijos llamados y, int stringrespectivamente.

Este ejemplo muestra cómo manejar valores nulos en el campo year al crear un nombre de archivo a partir del valor del campo.

1
{
2
  "$out": {
3
    "azure": {
4
      "serviceURL": "http://mystorageaccount.blob.core.windows.net/",
5
      "container": "my-container",
6
      "region": "eastus2",
7
      "filename": {
8
        "$concat": [
9
          "big-box-store/",
10
          {
11
            "$convert": {
12
              "input": "$year",
13
              "to": "string",
14
              "onNull": ""
15
            }
16
          }, "/"
17
        ]
18
      },
19
      "format": {
20
        "name": "json.gz",
21
        "maxFileSize": "200MiB"
22
      }
23
    }
24
  }
25
}

Considere los siguientes documentos BSON:

{
  "clientId": 102,
  "phoneNumbers": ["123-4567", "234-5678"],
  "clientInfo": {
    "name": "Taylor",
    "occupation": "teacher"
  }
}
{
  "clientId": "237",
  "phoneNumbers" ["345-6789"]
  "clientInfo": {
    "name": "Jordan"
  }
}

Si escribe los documentos BSON anteriores en formato Parquet mediante $out en Azure, el esquema de archivo Parquet para sus documentos BSON se verá similar al siguiente:

message root {
  optional group clientId {
    optional int32 int;
    optional binary string (STRING);
  }
  optional group phoneNumbers (LIST) {
    repeated group list {
      optional binary element (STRING);
    }
  }
  optional group clientInfo {
    optional binary name (STRING);
    optional binary occupation (STRING);
  }
}

Sus datos Parquet en Azure Blob almacenamiento tendrían un aspecto similar al siguiente:

1
clientId:
2
.int = 102
3
phoneNumbers:
4
.list:
5
..element = "123-4567"
6
.list:
7
..element = "234-5678"
8
clientInfo:
9
.name = "Taylor"
10
.occupation = "teacher"
11
12
clientId:
13
.string = "237"
14
phoneNumbers:
15
.list:
16
..element = "345-6789"
17
clientInfo:
18
.name = "Jordan"

El ejemplo anterior demuestra cómo Atlas Data Federation gestiona los tipos de datos complejos:

• Atlas Data Federation mapea documentos en todos los niveles a un grupo Parquet.

• Atlas Data Federation codifica arreglos usando el tipo lógico LIST y la estructura obligatoria de lista o elemento de tres niveles. Para obtener más información, consulta Listas.

• Atlas Data Federation asigna campos BSON polimórficos a un grupo de varias columnas de un solo tipo, ya que Parquet no admite columnas polimórficas. Atlas Data Federation asigna al grupo el nombre del campo BSON. En el ejemplo anterior, Atlas Data Federation crea un grupo Parquet llamado clientId para el campo polimórfico clientId con dos hijos llamados y, int stringrespectivamente.

Este ejemplo muestra cómo manejar valores nulos en el campo year al crear un nombre de archivo a partir del valor del campo.

1
{
2
  "$out": {
3
    "gcs": {
4
      "bucket": "my-gcs-bucket",
5
      "region": "us-central1",
6
      "filename": {
7
        "$concat": [
8
          "big-box-store/",
9
          {
10
            "$convert": {
11
              "input": "$year",
12
              "to": "string",
13
              "onNull": ""
14
            }
15
          }, "/"
16
        ]
17
      },
18
      "format": {
19
        "name": "json.gz",
20
        "maxFileSize": "200MiB"
21
      }
22
    }
23
  }
24
}

Considere los siguientes documentos BSON:

{
  "clientId": 102,
  "phoneNumbers": ["123-4567", "234-5678"],
  "clientInfo": {
    "name": "Taylor",
    "occupation": "teacher"
  }
}
{
  "clientId": "237",
  "phoneNumbers" ["345-6789"]
  "clientInfo": {
    "name": "Jordan"
  }
}

Si escribes los documentos BSON anteriores en formato Parquet usando $out to GCP, el esquema del archivo Parquet para tus documentos BSON se vería similar al siguiente:

message root {
  optional group clientId {
    optional int32 int;
    optional binary string; (STRING)
  }
  optional group phoneNumbers (LIST) {
    repeated group list {
      optional binary element (STRING);
    }
  }
  optional group clientInfo {
    optional binary name (STRING);
    optional binary occupation (STRING);
  }
}

Sus datos de Parquet en Google Cloud Storage se verían similares a los siguientes:

1
clientId:
2
.int = 102
3
phoneNumbers:
4
.list:
5
..element = "123-4567"
6
.list:
7
..element = "234-5678"
8
clientInfo:
9
.name = "Taylor"
10
.occupation = "teacher"
11
12
clientId:
13
.string = "237"
14
phoneNumbers:
15
.list:
16
..element = "345-6789"
17
clientInfo:
18
.name = "Jordan"

El ejemplo anterior demuestra cómo Atlas Data Federation gestiona los tipos de datos complejos:

• Atlas Data Federation mapea documentos en todos los niveles a un grupo Parquet.

• Atlas Data Federation codifica arreglos usando el tipo lógico LIST y la estructura obligatoria de lista o elemento de tres niveles. Para obtener más información, consulta Listas.

• Atlas Data Federation asigna campos BSON polimórficos a un grupo de varias columnas de un solo tipo, ya que Parquet no admite columnas polimórficas. Atlas Data Federation asigna al grupo el nombre del campo BSON. En el ejemplo anterior, Atlas Data Federation crea un grupo Parquet llamado clientId para el campo polimórfico clientId con dos hijos llamados y, int stringrespectivamente.