$out Etapa (Atlas Data Federation)

Ejemplo de string simple

Desea escribir 1 GiB de datos como archivos BSON comprimidos en un bucket S3 llamado my-s3-bucket.

Utilizando la siguiente $out sintaxis:

{
  "$out": {
    "s3": {
      "bucket": "my-s3-bucket",
      "filename": "big_box_store/",
      "format": {
        "name": "bson.gz"
      }
    }
  }
}

Se omite s3.region y, por lo tanto, Atlas Data Federation determina la región donde se aloja el bucket llamado my-s3-bucket a partir de la configuración de almacenamiento. $out escribe cinco archivos BSON comprimidos:

1. Los primeros 200 MiB de datos a un archivo $out que big_box_store/1.bson.gz nombra.

   • El valor de s3.filename sirve como una constante en cada nombre de archivo. Este valor no depende de ningún campo o valor de documento.

   • Tu s3.filename termina con un delimitador, por lo que Atlas Data Federation añade el contador después de la constante.

   • Si no terminaba con un delimitador, Atlas Data Federation habría agregado un . entre la constante y el contador, como big_box_store.1.bson.gz

   • Como no se cambió el tamaño máximo de archivo con s3.format.maxFileSize, Atlas Data Federation utiliza el valor por defecto de 200 MiB.

2. Los segundos 200 MiB de datos a un nuevo archivo que $out big_box_store/2.bson.gznombra.

3. Tres archivos más que $out nombran big_box_store/3.bson.gz big_box_store/5.bson.gza.

Campo único de documentos

Desea escribir 90 MiB de datos en archivos JSON en un bucket S3 llamado my-s3-bucket.

Utilizando la siguiente $out sintaxis:

{
  "$out": {
    "s3": {
      "bucket": "my-s3-bucket",
      "region": "us-east-1",
      "filename": {"$toString": "$saleDate"},
      "format": {
        "name": "json",
        "maxFileSize": "100MiB"
      }
    }
  }
}

$out escribe 90 MiB de datos en archivos JSON en la raíz del bucket. Cada archivo JSON contiene todos los documentos con el mismo valor saleDate. $out nombra cada archivo usando el valor saleDate de los documentos convertido a una cadena.

Varios campos de documentos

Desea escribir 176 MiB de datos como archivos BSON en un bucket S3 llamado my-s3-bucket.

Utilizando la siguiente $out sintaxis:

{
  "$out": {
    "s3": {
      "bucket": "my-s3-bucket",
      "region": "us-east-1",
      "filename": {
        "$concat": [
          "persons/",
          "$name", "/",
          "$uniqueId", "/"
        ]
      },
      "format": {
        "name": "bson",
        "maxFileSize": "200MiB"
      }
    }
  }
}

$out escribe 176 MiB de datos en archivos BSON.Para nombrar cada archivo, $out concatena:

• Una string constante persons/ y, de los documentos:

  • El valor string del campo name,

  • Una barra diagonal (/),

  • El valor de la string del campo uniqueId, y

  • Una barra diagonal (/).

Cada archivo BSON contiene todos los documentos con los mismos valores name y uniqueId. $out nombra cada archivo usando los valores name y uniqueId de los documentos.

Varios tipos de campos de documentos

Desea escribir 154 MiB de datos como archivos JSON comprimidos en un bucket S3 llamado my-s3-bucket.

Considere la siguiente $out sintaxis:

{
  "$out": {
    "s3": {
      "bucket": "my-s3-bucket",
      "region": "us-east-1",
      "filename": {
        "$concat": [
          "big-box-store/",
          {
            "$toString": "$storeNumber"
          }, "/",
          {
            "$toString": "$saleDate"
          }, "/",
          "$partId", "/"
        ]
      },
      "format": {
        "name": "json.gz",
        "maxFileSize": "200MiB"
      }
    }
  }
}

$out escribe 154 MiB de datos en archivos JSON comprimidos, donde cada archivo contiene todos los documentos con los mismos valores storeNumber, saleDate y partId. Para nombrar cada archivo, $out concatena:

• Un valor de cadena constante de big-box-store/,

• Un valor string que representa la identificación única de una tienda perteneciente al campo storeNumber.

• Una barra diagonal (/),

• Un valor de string de la fecha del campo saleDate,

• Una barra diagonal (/),

• Un valor de string del identificador de parte del campo partId, y

• Una barra diagonal (/).

Ejemplo de string simple

Desea escribir 1 GiB de datos como archivos BSON comprimidos en una cuenta de almacenamiento de Azure mystorageaccount y un contenedor llamado my-container.

Utilizando la siguiente $out sintaxis:

{
  "$out": {
    "azure": {
      "serviceURL": "http://mystorageaccount.blob.core.windows.net/",
      "containerName": "my-container",
      "filename": "big_box_store/",
      "format": {
        "name": "bson.gz"
      }
    }
  }
}

Se omite azure.region y, por lo tanto, Atlas Data Federation determina la región donde se aloja el contenedor llamado my-container a partir de la configuración de almacenamiento. $out escribe cinco archivos BSON comprimidos:

1. Los primeros 200 MiB de datos a un archivo $out que big_box_store/1.bson.gz nombra.

   • El valor de azure.filename sirve como una constante en cada nombre de archivo. Este valor no depende de ningún campo o valor de documento.

   • Tu azure.filename termina con un delimitador, por lo que Atlas Data Federation añade el contador después de la constante.

   • Si no terminaba con un delimitador, Atlas Data Federation habría agregado un . entre la constante y el contador, como big_box_store.1.bson.gz

   • Como no se cambió el tamaño máximo de archivo con azure.format.maxFileSize, Atlas Data Federation utiliza el valor por defecto de 200 MiB.

2. Los segundos 200 MiB de datos a un nuevo archivo que $out big_box_store/2.bson.gznombra.

3. Tres archivos más que $out nombran big_box_store/3.bson.gz big_box_store/5.bson.gza.

Campo único de documentos

Desea escribir 90 MiB de datos en archivos JSON en un contenedor de Azure Blob Storage llamado my-container.

Utilizando la siguiente $out sintaxis:

{
  "$out": {
    "azure": {
      "serviceURL": "http://mystorageaccount.blob.core.windows.net/",
      "containerName": "my-container",
      "region": "eastus2",
      "filename": {"$toString": "$saleDate"},
      "format": {
        "name": "json",
        "maxFileSize": "100MiB"
      }
    }
  }
}

$out escribe 90 MiB de datos en archivos JSON en la raíz del contenedor. Cada archivo JSON contiene todos los documentos con el mismo valor saleDate. $out nombra cada archivo usando el valor saleDate de los documentos convertido a una cadena.

Varios campos de documentos

Desea escribir 176 MiB de datos como archivos BSON en un contenedor de Azure Blob Storage llamado my-container.

Utilizando la siguiente $out sintaxis:

{
  "$out": {
    "azure": {
      "serviceURL": "http://mystorageaccount.blob.core.windows.net/",
      "containerName": "my-container",
      "region": "eastus2",
      "filename": {
        "$concat": [
          "persons/",
          "$name", "/",
          "$uniqueId", "/"
        ]
      },
      "format": {
        "name": "bson",
        "maxFileSize": "200MiB"
      }
    }
  }
}

$out escribe 176 MiB de datos en archivos BSON.Para nombrar cada archivo, $out concatena:

• Una string constante persons/ y, de los documentos:

  • El valor string del campo name,

  • Una barra diagonal (/),

  • El valor de la string del campo uniqueId, y

  • Una barra diagonal (/).

Cada archivo BSON contiene todos los documentos con los mismos valores name y uniqueId. $out nombra cada archivo usando los valores name y uniqueId de los documentos.

Varios tipos de campos de documentos

Desea escribir 154 MiB de datos como archivos JSON comprimidos en un contenedor de Azure Blob Storage llamado my-container.

Considere la siguiente $out sintaxis:

{
  "$out": {
    "azure": {
      "serviceURL": "http://mystorageaccount.blob.core.windows.net/",
      "containerName": "my-container",
      "region": "eastus2",
      "filename": {
        "$concat": [
          "big-box-store/",
          {
            "$toString": "$storeNumber"
          }, "/",
          {
            "$toString": "$saleDate"
          }, "/",
          "$partId", "/"
        ]
      },
      "format": {
        "name": "json.gz",
        "maxFileSize": "200MiB"
      }
    }
  }
}

$out escribe 154 MiB de datos en archivos JSON comprimidos, donde cada archivo contiene todos los documentos con los mismos valores storeNumber, saleDate y partId. Para nombrar cada archivo, $out concatena:

• Un valor de cadena constante de big-box-store/,

• Un valor string que representa la identificación única de una tienda perteneciente al campo storeNumber.

• Una barra diagonal (/),

• Un valor de string de la fecha del campo saleDate,

• Una barra diagonal (/),

• Un valor de string del identificador de parte del campo partId, y

• Una barra diagonal (/).

Ejemplo de string simple

Desea escribir 1 GiB de datos como archivos BSON comprimidos en un bucket de Google Cloud Storage llamado my-gcs-bucket.

Utilizando la siguiente $out sintaxis:

{
  "$out": {
    "gcs": {
      "bucket": "my-gcs-bucket",
      "filename": "big_box_store/",
      "format": {
        "name": "bson.gz"
      }
    }
  }
}

Se omite gcs.region y, por lo tanto, Atlas Data Federation determina la región donde se aloja el bucket llamado my-gcs-bucket a partir de la configuración de almacenamiento. $out escribe cinco archivos BSON comprimidos:

1. Los primeros 200 MiB de datos a un archivo $out que big_box_store/1.bson.gz nombra.

   • El valor de gcs.filename sirve como una constante en cada nombre de archivo. Este valor no depende de ningún campo o valor de documento.

   • Tu gcs.filename termina con un delimitador, por lo que Atlas Data Federation añade el contador después de la constante.

   • Si no terminaba con un delimitador, Atlas Data Federation habría agregado un . entre la constante y el contador, como big_box_store.1.bson.gz

   • Como no se cambió el tamaño máximo de archivo con gcs.format.maxFileSize, Atlas Data Federation utiliza el valor por defecto de 200 MiB.

2. Los segundos 200 MiB de datos a un nuevo archivo que $out big_box_store/2.bson.gznombra.

3. Tres archivos más que $out nombran big_box_store/3.bson.gz big_box_store/5.bson.gza.

Campo único de documentos

Desea escribir 90 MiB de datos en archivos JSON en un bucket de Google Cloud Storage llamado my-gcs-bucket.

Utilizando la siguiente $out sintaxis:

{
  "$out": {
    "gcs": {
      "bucket": "my-gcs-bucket",
      "region": "us-central1",
      "filename": {"$toString": "$saleDate"},
      "format": {
        "name": "json",
        "maxFileSize": "100MiB"
      }
    }
  }
}

$out escribe 90 MiB de datos en archivos JSON en la raíz del bucket. Cada archivo JSON contiene todos los documentos con el mismo valor saleDate. $out nombra cada archivo usando el valor saleDate de los documentos convertido a una cadena.

Varios campos de documentos

Desea escribir 176 MiB de datos como archivos BSON en un bucket de Google Cloud Storage llamado my-gcs-bucket.

Utilizando la siguiente $out sintaxis:

{
  "$out": {
    "gcs": {
      "bucket": "my-gcs-bucket",
      "region": "us-central1",
      "filename": {
        "$concat": [
          "persons/",
          "$name", "/",
          "$uniqueId", "/"
        ]
      },
      "format": {
        "name": "bson",
        "maxFileSize": "200MiB"
      }
    }
  }
}

$out escribe 176 MiB de datos en archivos BSON.Para nombrar cada archivo, $out concatena:

• Una string constante persons/ y, de los documentos:

  • El valor string del campo name,

  • Una barra diagonal (/),

  • El valor de la string del campo uniqueId, y

  • Una barra diagonal (/).

Cada archivo BSON contiene todos los documentos con los mismos valores name y uniqueId. $out nombra cada archivo usando los valores name y uniqueId de los documentos.

Varios tipos de campos de documentos

Desea escribir 154 MiB de datos como archivos JSON comprimidos en un bucket de Google Cloud Storage llamado my-gcs-bucket.

Considere la siguiente $out sintaxis:

{
  "$out": {
    "gcs": {
      "bucket": "my-gcs-bucket",
      "region": "us-central1",
      "filename": {
        "$concat": [
          "big-box-store/",
          {
            "$toString": "$storeNumber"
          }, "/",
          {
            "$toString": "$saleDate"
          }, "/",
          "$partId", "/"
        ]
      },
      "format": {
        "name": "json.gz",
        "maxFileSize": "200MiB"
      }
    }
  }
}

$out escribe 154 MiB de datos en archivos JSON comprimidos, donde cada archivo contiene todos los documentos con los mismos valores storeNumber, saleDate y partId. Para nombrar cada archivo, $out concatena:

• Un valor de cadena constante de big-box-store/,

• Un valor string que representa la identificación única de una tienda perteneciente al campo storeNumber.

• Una barra diagonal (/),

• Un valor de string de la fecha del campo saleDate,

• Una barra diagonal (/),

• Un valor de string del identificador de parte del campo partId, y

• Una barra diagonal (/).

Guardar en la colección en Atlas Clúster

Esta sintaxis envía los datos agregados a $out una sampleDB.mySampleData colección en el clúster de Atlas myTestCluster llamada. La sintaxis no especifica un ID$out de proyecto; utiliza el ID del proyecto que contiene su instancia de base de datos federada.

{
  "$out": {
    "atlas": {
      "clusterName": "myTestCluster",
      "db": "sampleDB",
      "coll": "mySampleData"
    }
  }
}

String Tipo de dato

Atlas Data Federation interpreta las cadenas vacías"" () como null valores al analizar los nombres de archivo. Si desea que Atlas Data Federation genere nombres de archivo analizables, envuelva las referencias de campo que podrían tener null valores usando con $convert un onNull valor de cadena vacía.

Este ejemplo muestra cómo gestionar valores nulos en el campo year al crear un nombre de archivo a partir del valor del campo.

{
  "$out": {
    "s3": {
      "bucket": "my-s3-bucket",
      "region": "us-east-1",
      "filename": {
        "$concat": [
          "big-box-store/",
          {
            "$convert": {
              "input": "$year",
              "to": "string",
              "onNull": ""
            }
          }, "/"
        ]
      },
      "format": {
        "name": "json.gz",
        "maxFileSize": "200MiB"
      }
    }
  }
}

Número de campos únicos

Al escribir en formato de archivo CSV, TSV o Parquet, Atlas Data Federation no admite más de 32000 campos únicos.

Formato de archivo CSV y TSV

Al escribir en formato CSV o TSV, Atlas Data Federation no admite los siguientes tipos de datos en los documentos:

• Arreglos

• DBPointer

• JavaScript

• Código JavaScript con alcance

• Tipo de dato mínimo o máximo de clave

En un archivo CSV, Atlas Data Federation representa los documentos anidados mediante la notación de punto (.). Por ejemplo, Atlas Data Federation guarda { x: { a: 1, b: 2 } } como lo siguiente en el archivo CSV:

x.a,x.b
1,2

Atlas Data Federation representa todos los demás tipos de datos como cadenas de texto. Por lo tanto, los tipos de datos en MongoDB leídos desde el archivo CSV pueden no ser los mismos que los tipos de datos en los documentos BSON originales desde los cuales se escribieron los tipos de datos.

Formato de archivo Parquet

Para Parquet, Atlas Data Federation lee los campos que tienen valores nulos o no definidos como faltantes, porque Parquet no distingue entre valores nulos o no definidos y valores faltantes. Aunque Atlas Data Federation admite todos los tipos de datos, para los tipos de datos BSON que no tienen un equivalente directo en Parquet, como JavaScript, expresiones regulares, etc.:

• Elige una representación que permita que el archivo Parquet resultante pueda leerse con una herramienta ajena a MongoDB.

• Almacena un esquema de MongoDB en los metadatos de clave/valor del archivo Parquet para que Atlas Data Federation pueda reconstruir el documento BSON original BSON original con los tipos de datos correctos si Atlas Data Federation vuelve a leer el archivo Parquet.

Considerar los siguientes documentos BSON:

{
  "clientId": 102,
  "phoneNumbers": ["123-4567", "234-5678"],
  "clientInfo": {
    "name": "Taylor",
    "occupation": "teacher"
  }
}
{
  "clientId": "237",
  "phoneNumbers": ["345-6789"],
  "clientInfo": {
    "name": "Jordan"
  }
}

Si escribe los documentos BSON anteriores en formato Parquet usando $out a S3, el esquema del archivo Parquet para sus documentos BSON se vería similar al siguiente:

message root {
  optional group clientId {
    optional int32 int;
    optional binary string (STRING);
  }
  optional group phoneNumbers (LIST) {
    repeated group list {
      optional binary element (STRING);
    }
  }
  optional group clientInfo {
    optional binary name (STRING);
    optional binary occupation (STRING);
  }
}

Sus datos Parquet en S3 se verían similares a los siguientes:

clientId:
.int = 102
phoneNumbers:
.list:
..element = "123-4567"
.list:
..element = "234-5678"
clientInfo:
.name = "Taylor"
.occupation = "teacher"
clientId:
.string = "237"
phoneNumbers:
.list:
..element = "345-6789"
clientInfo:
.name = "Jordan"

El ejemplo anterior demuestra cómo Atlas Data Federation gestiona los tipos de datos complejos:

• Atlas Data Federation mapea documentos en todos los niveles a un grupo Parquet.

• Atlas Data Federation codifica arreglos usando el tipo lógico LIST y la estructura obligatoria de lista o elemento de tres niveles. Para obtener más información, consulta Listas.

• Atlas Data Federation asigna los campos BSON polimórficos a un grupo de varias columnas de un solo tipo, ya que Parquet no admite columnas polimórficas. Atlas Data Federation nombra el grupo según el campo BSON. En el ejemplo anterior, Atlas Data Federation crea un grupo Parquet llamado clientId para el campo polimórfico llamado clientId, con dos elementos secundarios que se nombran según sus tipos BSON, int y string.

String Tipo de dato

Atlas Data Federation interpreta las cadenas vacías"" () como null valores al analizar los nombres de archivo. Si desea que Atlas Data Federation genere nombres de archivo analizables, envuelva las referencias de campo que podrían tener null valores usando con $convert un onNull valor de cadena vacía.

Este ejemplo muestra cómo gestionar valores nulos en el campo year al crear un nombre de archivo a partir del valor del campo.

{
  "$out": {
    "azure": {
      "serviceURL": "http://mystorageaccount.blob.core.windows.net/",
      "containerName": "my-container",
      "region": "eastus2",
      "filename": {
        "$concat": [
          "big-box-store/",
          {
            "$convert": {
              "input": "$year",
              "to": "string",
              "onNull": ""
            }
          }, "/"
        ]
      },
      "format": {
        "name": "json.gz",
        "maxFileSize": "200MiB"
      }
    }
  }
}

Número de campos únicos

Al escribir en formato de archivo CSV, TSV o Parquet, Atlas Data Federation no admite más de 32000 campos únicos.

Formato de archivo CSV y TSV

Al escribir en formato CSV o TSV, Atlas Data Federation no admite los siguientes tipos de datos en los documentos:

• Arreglos

• DBPointer

• JavaScript

• Código JavaScript con alcance

• Tipo de dato mínimo o máximo de clave

En un archivo CSV, Atlas Data Federation representa los documentos anidados mediante la notación de punto (.). Por ejemplo, Atlas Data Federation guarda { x: { a: 1, b: 2 } } como lo siguiente en el archivo CSV:

x.a,x.b
1,2

Atlas Data Federation representa todos los demás tipos de datos como cadenas de texto. Por lo tanto, los tipos de datos en MongoDB leídos desde el archivo CSV pueden no ser los mismos que los tipos de datos en los documentos BSON originales desde los cuales se escribieron los tipos de datos.

Formato de archivo Parquet

Para Parquet, Atlas Data Federation lee los campos que tienen valores nulos o no definidos como faltantes, porque Parquet no distingue entre valores nulos o no definidos y valores faltantes. Aunque Atlas Data Federation admite todos los tipos de datos, para los tipos de datos BSON que no tienen un equivalente directo en Parquet, como JavaScript, expresiones regulares, etc.:

• Elige una representación que permita que el archivo Parquet resultante pueda leerse con una herramienta ajena a MongoDB.

• Almacena un esquema de MongoDB en los metadatos de clave/valor del archivo Parquet para que Atlas Data Federation pueda reconstruir el documento BSON original BSON original con los tipos de datos correctos si Atlas Data Federation vuelve a leer el archivo Parquet.

Considerar los siguientes documentos BSON:

{
  "clientId": 102,
  "phoneNumbers": ["123-4567", "234-5678"],
  "clientInfo": {
    "name": "Taylor",
    "occupation": "teacher"
  }
}
{
  "clientId": "237",
  "phoneNumbers": ["345-6789"],
  "clientInfo": {
    "name": "Jordan"
  }
}

Si escribes los documentos BSON anteriores en formato Parquet usando $out to Azure, el esquema de archivos Parquet para tus documentos BSON sería similar al siguiente:

message root {
  optional group clientId {
    optional int32 int;
    optional binary string (STRING);
  }
  optional group phoneNumbers (LIST) {
    repeated group list {
      optional binary element (STRING);
    }
  }
  optional group clientInfo {
    optional binary name (STRING);
    optional binary occupation (STRING);
  }
}

Sus datos Parquet en Azure Blob almacenamiento tendrían un aspecto similar al siguiente:

clientId:
.int = 102
phoneNumbers:
.list:
..element = "123-4567"
.list:
..element = "234-5678"
clientInfo:
.name = "Taylor"
.occupation = "teacher"
clientId:
.string = "237"
phoneNumbers:
.list:
..element = "345-6789"
clientInfo:
.name = "Jordan"

El ejemplo anterior demuestra cómo Atlas Data Federation gestiona los tipos de datos complejos:

• Atlas Data Federation mapea documentos en todos los niveles a un grupo Parquet.

• Atlas Data Federation codifica arreglos usando el tipo lógico LIST y la estructura obligatoria de lista o elemento de tres niveles. Para obtener más información, consulta Listas.

• Atlas Data Federation asigna los campos BSON polimórficos a un grupo de varias columnas de un solo tipo, ya que Parquet no admite columnas polimórficas. Atlas Data Federation nombra el grupo según el campo BSON. En el ejemplo anterior, Atlas Data Federation crea un grupo Parquet llamado clientId para el campo polimórfico llamado clientId, con dos elementos secundarios que se nombran según sus tipos BSON, int y string.

String Tipo de dato

Atlas Data Federation interpreta las cadenas vacías"" () como null valores al analizar los nombres de archivo. Si desea que Atlas Data Federation genere nombres de archivo analizables, envuelva las referencias de campo que podrían tener null valores usando con $convert un onNull valor de cadena vacía.

Este ejemplo muestra cómo gestionar valores nulos en el campo year al crear un nombre de archivo a partir del valor del campo.

{
  "$out": {
    "gcs": {
      "bucket": "my-gcs-bucket",
      "region": "us-central1",
      "filename": {
        "$concat": [
          "big-box-store/",
          {
            "$convert": {
              "input": "$year",
              "to": "string",
              "onNull": ""
            }
          }, "/"
        ]
      },
      "format": {
        "name": "json.gz",
        "maxFileSize": "200MiB"
      }
    }
  }
}

Número de campos únicos

Al escribir en formato de archivo CSV, TSV o Parquet, Atlas Data Federation no admite más de 32000 campos únicos.

Formato de archivo CSV y TSV

Al escribir en formato CSV o TSV, Atlas Data Federation no admite los siguientes tipos de datos en los documentos:

• Arreglos

• DBPointer

• JavaScript

• Código JavaScript con alcance

• Tipo de dato mínimo o máximo de clave

En un archivo CSV, Atlas Data Federation representa los documentos anidados mediante la notación de punto (.). Por ejemplo, Atlas Data Federation guarda { x: { a: 1, b: 2 } } como lo siguiente en el archivo CSV:

x.a,x.b
1,2

Atlas Data Federation representa todos los demás tipos de datos como cadenas de texto. Por lo tanto, los tipos de datos en MongoDB leídos desde el archivo CSV pueden no ser los mismos que los tipos de datos en los documentos BSON originales desde los cuales se escribieron los tipos de datos.

Formato de archivo Parquet

Para Parquet, Atlas Data Federation lee los campos que tienen valores nulos o no definidos como faltantes, porque Parquet no distingue entre valores nulos o no definidos y valores faltantes. Aunque Atlas Data Federation admite todos los tipos de datos, para los tipos de datos BSON que no tienen un equivalente directo en Parquet, como JavaScript, expresiones regulares, etc.:

• Elige una representación que permita que el archivo Parquet resultante pueda leerse con una herramienta ajena a MongoDB.

• Almacena un esquema de MongoDB en los metadatos de clave/valor del archivo Parquet para que Atlas Data Federation pueda reconstruir el documento BSON original BSON original con los tipos de datos correctos si Atlas Data Federation vuelve a leer el archivo Parquet.

Considerar los siguientes documentos BSON:

{
  "clientId": 102,
  "phoneNumbers": ["123-4567", "234-5678"],
  "clientInfo": {
    "name": "Taylor",
    "occupation": "teacher"
  }
}
{
  "clientId": "237",
  "phoneNumbers": ["345-6789"],
  "clientInfo": {
    "name": "Jordan"
  }
}

Si guardas los siguientes documentos BSON en formato Parquet usando $out a GCP, el esquema de archivos Parquet para tus documentos BSON sería similar a lo siguiente:

message root {
  optional group clientId {
    optional int32 int;
    optional binary string (STRING);
  }
  optional group phoneNumbers (LIST) {
    repeated group list {
      optional binary element (STRING);
    }
  }
  optional group clientInfo {
    optional binary name (STRING);
    optional binary occupation (STRING);
  }
}

Los datos de Parquet en Google Cloud Storage se verían similares a los siguientes:

clientId:
.int = 102
phoneNumbers:
.list:
..element = "123-4567"
.list:
..element = "234-5678"
clientInfo:
.name = "Taylor"
.occupation = "teacher"
clientId:
.string = "237"
phoneNumbers:
.list:
..element = "345-6789"
clientInfo:
.name = "Jordan"

El ejemplo anterior demuestra cómo Atlas Data Federation gestiona los tipos de datos complejos:

• Atlas Data Federation mapea documentos en todos los niveles a un grupo Parquet.

• Atlas Data Federation codifica arreglos usando el tipo lógico LIST y la estructura obligatoria de lista o elemento de tres niveles. Para obtener más información, consulta Listas.

• Atlas Data Federation asigna los campos BSON polimórficos a un grupo de varias columnas de un solo tipo, ya que Parquet no admite columnas polimórficas. Atlas Data Federation nombra el grupo según el campo BSON. En el ejemplo anterior, Atlas Data Federation crea un grupo Parquet llamado clientId para el campo polimórfico llamado clientId, con dos elementos secundarios que se nombran según sus tipos BSON, int y string.