$out Etapa (Atlas Data Federation)

Quieres guardar 1 GiB de datos como archivos comprimidos BSON en un bucket S3 llamado my-s3-bucket.

Usando la siguiente sintaxis $out :

1
{
2
  "$out": {
3
    "s3": {
4
      "bucket": "my-s3-bucket",
5
      "filename": "big_box_store/",
6
      "format": {
7
        "name": "bson.gz"
8
      }
9
    }
10
  }
11
}

Se omite el s3.region y, por lo tanto, Atlas Data Federation determina la región donde se aloja el bucket llamado my-s3-bucket a partir de la configuración de almacenamiento. $out escribe cinco archivos comprimidos BSON:

1. Los primeros 200 MiB de datos a un archivo que $out nombra big_box_store/1.bson.gz.

   • El valor de s3.filename sirve como una constante en cada nombre de archivo. Este valor no depende de ningún campo o valor de documento.

   • Tu s3.filename termina con un delimitador, por lo que Atlas Data Federation añade el contador después de la constante.

   • Si no terminaba con un delimitador, Atlas Data Federation habría agregado un . entre la constante y el contador, como big_box_store.1.bson.gz

   • Como no se cambió el tamaño máximo de archivo con s3.format.maxFileSize, Atlas Data Federation utiliza el valor por defecto de 200 MiB.

2. Los segundos 200 MiB de datos a un nuevo archivo que $out nombra big_box_store/2.bson.gz.

3. Tres archivos más que $out nombra del big_box_store/3.bson.gz al big_box_store/5.bson.gz.

Deseas guardar 90 MiB de datos en archivos JSON en un bucket S3 llamado my-s3-bucket.

Usando la siguiente sintaxis $out :

1
{
2
  "$out": {
3
    "s3": {
4
      "bucket": "my-s3-bucket",
5
      "region": "us-east-1",
6
      "filename": {"$toString": "$saleDate"},
7
      "format": {
8
        "name": "json",
9
        "maxFileSize": "100MiB"
10
      }
11
    }
12
  }
13
}

$out guarda 90 MiB de datos en archivos JSON en la raíz del bucket. Cada archivo JSON contiene todos los documentos con el mismo valor de saleDate. $out nombra cada archivo utilizando el valor saleDate de los documentos convertido a cadena.

Tú quieres guardar 176 MiB de datos como archivos BSON en un bucket de S3 llamado my-s3-bucket.

Usando la siguiente sintaxis $out :

1
{
2
  "$out": {
3
    "s3": {
4
      "bucket": "my-s3-bucket",
5
      "region": "us-east-1",
6
      "filename": {
7
        "$concat": [
8
          "persons/",
9
          "$name", "/",
10
          "$uniqueId", "/"
11
        ]
12
      },
13
      "format": {
14
        "name": "bson",
15
        "maxFileSize": "200MiB"
16
      }
17
    }
18
  }
19
}

$out escribe 176 MiB de datos en archivos BSON. Para nombrar cada archivo, $out concatena:

• Una string constante persons/ y, de los documentos:

  • El valor string del campo name,

  • Una barra diagonal (/),

  • El valor de la string del campo uniqueId, y

  • Una barra diagonal (/).

Cada archivo BSON contiene todos los documentos con los mismos valores de name y uniqueId. $out nombra cada archivo usando los valores name y uniqueId de los documentos.

Quieres guardar 154 MiB de datos como archivos comprimidos JSON en un bucket S3 llamado my-s3-bucket.

Considera la siguiente sintaxis $out:

1
{
2
  "$out": {
3
    "s3": {
4
      "bucket": "my-s3-bucket",
5
      "region": "us-east-1",
6
      "filename": {
7
        "$concat": [
8
          "big-box-store/",
9
          {
10
            "$toString": "$storeNumber"
11
          }, "/",
12
          {
13
            "$toString": "$saleDate"
14
          }, "/",
15
          "$partId", "/"
16
        ]
17
      },
18
      "format": {
19
        "name": "json.gz",
20
        "maxFileSize": "200MiB"
21
      }
22
    }
23
  }
24
}

$out escribe 154 MiB de datos en archivos JSON comprimidos, donde cada archivo contiene todos los documentos con los mismos valores de storeNumber, saleDate y partId. Para nombrar cada archivo, $out concatena:

• Un valor de cadena constante de big-box-store/,

• Un valor string que representa la identificación única de una tienda perteneciente al campo storeNumber.

• Una barra diagonal (/),

• Un valor de string de la fecha del campo saleDate,

• Una barra diagonal (/),

• Un valor de string del identificador de parte del campo partId, y

• Una barra diagonal (/).

Se desea guardar 1 GiB de datos como archivos comprimidos BSON a una cuenta de almacenamiento Azure mystorageaccount y un contenedor llamado my-container.

Usando la siguiente sintaxis $out :

1
{
2
  "$out": {
3
    "azure": {
4
      "serviceURL": "http://mystorageaccount.blob.core.windows.net/",
5
      "container": "my-container",
6
      "filename": "big_box_store/",
7
      "format": {
8
        "name": "bson.gz"
9
      }
10
    }
11
  }
12
}

Se omite el azure.region, por lo que Atlas Data Federation determina la región donde se encuentra el contenedor llamado my-container a partir de la configuración del almacenamiento. $out guarda cinco archivos BSON comprimidos:

1. Los primeros 200 MiB de datos a un archivo que $out nombra big_box_store/1.bson.gz.

   • El valor de azure.filename sirve como una constante en cada nombre de archivo. Este valor no depende de ningún campo o valor de documento.

   • Tu azure.filename termina con un delimitador, por lo que Atlas Data Federation añade el contador después de la constante.

   • Si no terminaba con un delimitador, Atlas Data Federation habría agregado un . entre la constante y el contador, como big_box_store.1.bson.gz

   • Como no se cambió el tamaño máximo de archivo con azure.format.maxFileSize, Atlas Data Federation utiliza el valor por defecto de 200 MiB.

2. Los segundos 200 MiB de datos a un nuevo archivo que $out nombra big_box_store/2.bson.gz.

3. Tres archivos más que $out nombra del big_box_store/3.bson.gz al big_box_store/5.bson.gz.

Deseas guardar 90 MiB de datos en archivos JSON en un contenedor de almacenamiento de blobs de Azure llamado my-container.

Usando la siguiente sintaxis $out :

1
{
2
  "$out": {
3
    "azure": {
4
      "serviceURL": "http://mystorageaccount.blob.core.windows.net/",
5
      "container": "my-container",
6
      "region": "eastus2",
7
      "filename": {"$toString": "$saleDate"},
8
      "format": {
9
        "name": "json",
10
        "maxFileSize": "100MiB"
11
      }
12
    }
13
  }
14
}

$out escribe 90 MiB de datos en archivos JSON en la raíz del contenedor. Cada archivo JSON contiene todos los documentos con el mismo valor de saleDate. $out nombra cada archivo utilizando el valor saleDate de los documentos convertido en string.

Quiere guardar 176 MiB de datos como archivos BSON en un contenedor de Azure Blob Storage con el nombre my-container.

Usando la siguiente sintaxis $out :

1
{
2
  "$out": {
3
    "azure": {
4
      "serviceURL": "http://mystorageaccount.blob.core.windows.net/",
5
      "container": "my-container",
6
      "region": "eastus2",
7
      "filename": {
8
        "$concat": [
9
          "persons/",
10
          "$name", "/",
11
          "$uniqueId", "/"
12
        ]
13
      },
14
      "format": {
15
        "name": "bson",
16
        "maxFileSize": "200MiB"
17
      }
18
    }
19
  }
20
}

$out escribe 176 MiB de datos en archivos BSON. Para nombrar cada archivo, $out concatena:

• Una string constante persons/ y, de los documentos:

  • El valor string del campo name,

  • Una barra diagonal (/),

  • El valor de la string del campo uniqueId, y

  • Una barra diagonal (/).

Cada archivo BSON contiene todos los documentos con los mismos valores de name y uniqueId. $out nombra cada archivo usando los valores name y uniqueId de los documentos.

Quieres guardar 154 MiB de datos como archivos JSON comprimidos en un contenedor de almacenamiento de blobs de Azure denominado my-container.

Considera la siguiente sintaxis $out:

1
{
2
  "$out": {
3
    "azure": {
4
      "serviceURL": "http://mystorageaccount.blob.core.windows.net/",
5
      "container": "my-container",
6
      "region": "eastus2",
7
      "filename": {
8
        "$concat": [
9
          "big-box-store/",
10
          {
11
            "$toString": "$storeNumber"
12
          }, "/",
13
          {
14
            "$toString": "$saleDate"
15
          }, "/",
16
          "$partId", "/"
17
        ]
18
      },
19
      "format": {
20
        "name": "json.gz",
21
        "maxFileSize": "200MiB"
22
      }
23
    }
24
  }
25
}

$out escribe 154 MiB de datos en archivos JSON comprimidos, donde cada archivo contiene todos los documentos con los mismos valores de storeNumber, saleDate y partId. Para nombrar cada archivo, $out concatena:

• Un valor de cadena constante de big-box-store/,

• Un valor string que representa la identificación única de una tienda perteneciente al campo storeNumber.

• Una barra diagonal (/),

• Un valor de string de la fecha del campo saleDate,

• Una barra diagonal (/),

• Un valor de string del identificador de parte del campo partId, y

• Una barra diagonal (/).

Desea guardar 1 GiB de datos comprimidos como archivos BSON en un bucket de Google Cloud Storage llamado my-gcs-bucket.

Usando la siguiente sintaxis $out :

1
{
2
  "$out": {
3
    "gcs": {
4
      "bucket": "my-gcs-bucket",
5
      "filename": "big_box_store/",
6
      "format": {
7
        "name": "bson.gz"
8
      }
9
    }
10
  }
11
}

Se omite el gcs.region y, por lo tanto, Atlas Data Federation determina la región donde se aloja el bucket llamado my-gcs-bucket a partir de la configuración de almacenamiento. $out escribe cinco archivos comprimidos BSON:

1. Los primeros 200 MiB de datos a un archivo que $out nombra big_box_store/1.bson.gz.

   • El valor de gcs.filename sirve como una constante en cada nombre de archivo. Este valor no depende de ningún campo o valor de documento.

   • Tu gcs.filename termina con un delimitador, por lo que Atlas Data Federation añade el contador después de la constante.

   • Si no terminaba con un delimitador, Atlas Data Federation habría agregado un . entre la constante y el contador, como big_box_store.1.bson.gz

   • Como no se cambió el tamaño máximo de archivo con gcs.format.maxFileSize, Atlas Data Federation utiliza el valor por defecto de 200 MiB.

2. Los segundos 200 MiB de datos a un nuevo archivo que $out nombra big_box_store/2.bson.gz.

3. Tres archivos más que $out nombra del big_box_store/3.bson.gz al big_box_store/5.bson.gz.

Desea guardar 90 MiB de datos en archivos JSON en un bucket de Google Cloud almacenamiento llamado my-gcs-bucket.

Usando la siguiente sintaxis $out :

1
{
2
  "$out": {
3
    "gcs": {
4
      "bucket": "my-gcs-bucket",
5
      "region": "us-central1",
6
      "filename": {"$toString": "$saleDate"},
7
      "format": {
8
        "name": "json",
9
        "maxFileSize": "100MiB"
10
      }
11
    }
12
  }
13
}

$out guarda 90 MiB de datos en archivos JSON en la raíz del bucket. Cada archivo JSON contiene todos los documentos con el mismo valor de saleDate. $out nombra cada archivo utilizando el valor saleDate de los documentos convertido a cadena.

Usted desea guardar 176 MiB de datos como archivos BSON en un bucket de Google Cloud Storage llamado my-gcs-bucket.

Usando la siguiente sintaxis $out :

1
{
2
  "$out": {
3
    "gcs": {
4
      "bucket": "my-gcs-bucket",
5
      "region": "us-central1",
6
      "filename": {
7
        "$concat": [
8
          "persons/",
9
          "$name", "/",
10
          "$uniqueId", "/"
11
        ]
12
      },
13
      "format": {
14
        "name": "bson",
15
        "maxFileSize": "200MiB"
16
      }
17
    }
18
  }
19
}

$out escribe 176 MiB de datos en archivos BSON. Para nombrar cada archivo, $out concatena:

• Una string constante persons/ y, de los documentos:

  • El valor string del campo name,

  • Una barra diagonal (/),

  • El valor de la string del campo uniqueId, y

  • Una barra diagonal (/).

Cada archivo BSON contiene todos los documentos con los mismos valores de name y uniqueId. $out nombra cada archivo usando los valores name y uniqueId de los documentos.

Quieres guardar 154 MiB de datos como archivos comprimidos JSON en un bucket de Google Cloud almacenamiento llamado my-gcs-bucket.

Considera la siguiente sintaxis $out:

1
{
2
  "$out": {
3
    "gcs": {
4
      "bucket": "my-gcs-bucket",
5
      "region": "us-central1",
6
      "filename": {
7
        "$concat": [
8
          "big-box-store/",
9
          {
10
            "$toString": "$storeNumber"
11
          }, "/",
12
          {
13
            "$toString": "$saleDate"
14
          }, "/",
15
          "$partId", "/"
16
        ]
17
      },
18
      "format": {
19
        "name": "json.gz",
20
        "maxFileSize": "200MiB"
21
      }
22
    }
23
  }
24
}

$out escribe 154 MiB de datos en archivos JSON comprimidos, donde cada archivo contiene todos los documentos con los mismos valores de storeNumber, saleDate y partId. Para nombrar cada archivo, $out concatena:

• Un valor de cadena constante de big-box-store/,

• Un valor string que representa la identificación única de una tienda perteneciente al campo storeNumber.

• Una barra diagonal (/),

• Un valor de string de la fecha del campo saleDate,

• Una barra diagonal (/),

• Un valor de string del identificador de parte del campo partId, y

• Una barra diagonal (/).

Este ejemplo muestra cómo gestionar valores nulos en el campo year al crear un nombre de archivo a partir del valor del campo.

1
{
2
  "$out": {
3
    "s3": {
4
      "bucket": "my-s3-bucket",
5
      "region": "us-east-1",
6
      "filename": {
7
        "$concat": [
8
          "big-box-store/",
9
          {
10
            "$convert": {
11
              "input": "$year",
12
              "to": "string",
13
              "onNull": ""
14
            }
15
          }, "/"
16
        ]
17
      },
18
      "format": {
19
        "name": "json.gz",
20
        "maxFileSize": "200MiB"
21
      }
22
    }
23
  }
24
}

Considerar los siguientes documentos BSON:

{
  "clientId": 102,
  "phoneNumbers": ["123-4567", "234-5678"],
  "clientInfo": {
    "name": "Taylor",
    "occupation": "teacher"
  }
}
{
  "clientId": "237",
  "phoneNumbers" ["345-6789"]
  "clientInfo": {
    "name": "Jordan"
  }
}

Si escribe los documentos BSON anteriores en formato Parquet usando $out a S,3 el esquema del archivo Parquet para sus documentos BSON se vería similar al siguiente:

message root {
  optional group clientId {
    optional int32 int;
    optional binary string; (STRING)
  }
  optional group phoneNumbers (LIST) {
    repeated group list {
      optional binary element (STRING);
    }
  }
  optional group clientInfo {
    optional binary name (STRING);
    optional binary occupation (STRING);
  }
}

Tus datos Parquet en S3 se verán similares a los siguientes:

1
clientId:
2
.int = 102
3
phoneNumbers:
4
.list:
5
..element = "123-4567"
6
.list:
7
..element = "234-5678"
8
clientInfo:
9
.name = "Taylor"
10
.occupation = "teacher"
11
12
clientId:
13
.string = "237"
14
phoneNumbers:
15
.list:
16
..element = "345-6789"
17
clientInfo:
18
.name = "Jordan"

El ejemplo anterior demuestra cómo Atlas Data Federation gestiona los tipos de datos complejos:

• Atlas Data Federation mapea documentos en todos los niveles a un grupo Parquet.

• Atlas Data Federation codifica arreglos usando el tipo lógico LIST y la estructura obligatoria de lista o elemento de tres niveles. Para obtener más información, consulta Listas.

• Atlas Data Federation asigna los campos polimórficos BSON a un grupo de múltiples columnas de un solo tipo porque Parquet no admite columnas polimórficas. Atlas Data Federation nombra el grupo después del campo BSON. En el ejemplo anterior, Atlas Data Federation crea un grupo Parquet llamado clientId para el campo polimórfico llamado clientId con dos elementos secundarios nombrados según sus tipos BSON, int y string.

Este ejemplo muestra cómo gestionar valores nulos en el campo year al crear un nombre de archivo a partir del valor del campo.

1
{
2
  "$out": {
3
    "azure": {
4
      "serviceURL": "http://mystorageaccount.blob.core.windows.net/",
5
      "container": "my-container",
6
      "region": "eastus2",
7
      "filename": {
8
        "$concat": [
9
          "big-box-store/",
10
          {
11
            "$convert": {
12
              "input": "$year",
13
              "to": "string",
14
              "onNull": ""
15
            }
16
          }, "/"
17
        ]
18
      },
19
      "format": {
20
        "name": "json.gz",
21
        "maxFileSize": "200MiB"
22
      }
23
    }
24
  }
25
}

Considerar los siguientes documentos BSON:

{
  "clientId": 102,
  "phoneNumbers": ["123-4567", "234-5678"],
  "clientInfo": {
    "name": "Taylor",
    "occupation": "teacher"
  }
}
{
  "clientId": "237",
  "phoneNumbers" ["345-6789"]
  "clientInfo": {
    "name": "Jordan"
  }
}

Si escribe los documentos BSON anteriores en formato Parquet usando $out en Azure, el esquema del archivo Parquet para sus documentos BSON se vería similar al siguiente:

message root {
  optional group clientId {
    optional int32 int;
    optional binary string (STRING);
  }
  optional group phoneNumbers (LIST) {
    repeated group list {
      optional binary element (STRING);
    }
  }
  optional group clientInfo {
    optional binary name (STRING);
    optional binary occupation (STRING);
  }
}

Tus datos Parquet en Azure almacenamiento de blobs se verían similar a lo siguiente:

1
clientId:
2
.int = 102
3
phoneNumbers:
4
.list:
5
..element = "123-4567"
6
.list:
7
..element = "234-5678"
8
clientInfo:
9
.name = "Taylor"
10
.occupation = "teacher"
11
12
clientId:
13
.string = "237"
14
phoneNumbers:
15
.list:
16
..element = "345-6789"
17
clientInfo:
18
.name = "Jordan"

El ejemplo anterior demuestra cómo Atlas Data Federation gestiona los tipos de datos complejos:

• Atlas Data Federation mapea documentos en todos los niveles a un grupo Parquet.

• Atlas Data Federation codifica arreglos usando el tipo lógico LIST y la estructura obligatoria de lista o elemento de tres niveles. Para obtener más información, consulta Listas.

• Atlas Data Federation asigna los campos polimórficos BSON a un grupo de múltiples columnas de un solo tipo porque Parquet no admite columnas polimórficas. Atlas Data Federation nombra el grupo después del campo BSON. En el ejemplo anterior, Atlas Data Federation crea un grupo Parquet llamado clientId para el campo polimórfico llamado clientId con dos elementos secundarios nombrados según sus tipos BSON, int y string.

Este ejemplo muestra cómo gestionar valores nulos en el campo year al crear un nombre de archivo a partir del valor del campo.

1
{
2
  "$out": {
3
    "gcs": {
4
      "bucket": "my-gcs-bucket",
5
      "region": "us-central1",
6
      "filename": {
7
        "$concat": [
8
          "big-box-store/",
9
          {
10
            "$convert": {
11
              "input": "$year",
12
              "to": "string",
13
              "onNull": ""
14
            }
15
          }, "/"
16
        ]
17
      },
18
      "format": {
19
        "name": "json.gz",
20
        "maxFileSize": "200MiB"
21
      }
22
    }
23
  }
24
}

Considerar los siguientes documentos BSON:

{
  "clientId": 102,
  "phoneNumbers": ["123-4567", "234-5678"],
  "clientInfo": {
    "name": "Taylor",
    "occupation": "teacher"
  }
}
{
  "clientId": "237",
  "phoneNumbers" ["345-6789"]
  "clientInfo": {
    "name": "Jordan"
  }
}

Si escribe los documentos BSON anteriores en formato Parquet usando $out en GCP, el esquema del archivo Parquet para sus documentos BSON se vería similar al siguiente:

message root {
  optional group clientId {
    optional int32 int;
    optional binary string; (STRING)
  }
  optional group phoneNumbers (LIST) {
    repeated group list {
      optional binary element (STRING);
    }
  }
  optional group clientInfo {
    optional binary name (STRING);
    optional binary occupation (STRING);
  }
}

Los datos de Parquet en Google Cloud Storage se verían similares a los siguientes:

1
clientId:
2
.int = 102
3
phoneNumbers:
4
.list:
5
..element = "123-4567"
6
.list:
7
..element = "234-5678"
8
clientInfo:
9
.name = "Taylor"
10
.occupation = "teacher"
11
12
clientId:
13
.string = "237"
14
phoneNumbers:
15
.list:
16
..element = "345-6789"
17
clientInfo:
18
.name = "Jordan"

El ejemplo anterior demuestra cómo Atlas Data Federation gestiona los tipos de datos complejos:

• Atlas Data Federation mapea documentos en todos los niveles a un grupo Parquet.

• Atlas Data Federation codifica arreglos usando el tipo lógico LIST y la estructura obligatoria de lista o elemento de tres niveles. Para obtener más información, consulta Listas.

• Atlas Data Federation asigna los campos polimórficos BSON a un grupo de múltiples columnas de un solo tipo porque Parquet no admite columnas polimórficas. Atlas Data Federation nombra el grupo después del campo BSON. En el ejemplo anterior, Atlas Data Federation crea un grupo Parquet llamado clientId para el campo polimórfico llamado clientId con dos elementos secundarios nombrados según sus tipos BSON, int y string.