AtlasDataFederation Recurso personalizado

Ejemplos

El siguiente ejemplo muestra una especificación de recurso personalizado AtlasDataFederation con puntos finales privados configurados:

apiVersion: atlas.mongodb.com/v1
kind: AtlasDataFederation
metadata:
  name: my-federated-deployment
spec:
  projectRef:
    name: my-project
    namespace: default
  cloudProviderConfig:
    aws:
      roleId: 12345678
      testS3Bucket: my-bucket
  dataProcessRegion:
    cloudProvider: AWS
    region: OREGON_USA
  name: my-fdi
  storage:
    databases:
    - collections:
      - dataSources:
        - allowInsecure: false
          collection: my-collection
          collectionRegex:
          database: my-database
          databaseRegex:
          defaultFormat: ".avro"
          path: /
          provenanceFieldName: string
          storeName: my-data-store
          urls:
          - string:
        name: my-collection-mdb
      maxWildcardCollections: 100
      name: my-database-mdb
      views:
      - name: my-view
        pipeline:
        source: my-source-collection
    stores:
    - name: my-store
      provider: S3
      additionalStorageClasses:
      - STANDARD
      bucket: my-bucket
      delimiter: /
      includeTags: false
      prefix: data-
      public: false
      region: US_WEST_1
  privateEndpoints:
  - endpointId: vpce-3bf78b0ddee411ba1
    provider: AWS
    type: DATA_LAKE
  - endpointId: vpce-3bf78b0ddee411ba2
    provider: AWS
    type: DATA_LAKE

Parámetros

Esta sección describe algunos de los AtlasDataFederation parámetros clave de recursos personalizados disponibles. Para obtener una lista completa de los parámetros disponibles, consulte la API de federación de datos de Atlas.

Consulte estas descripciones, los ejemplos disponibles y la Documentación API para personalizar sus especificaciones.

metadata.name

Tipo: string

Requerido

Etiqueta que identifica el AtlasDataFederation recurso Personalizado que Atlas Kubernetes Operator utiliza para agregar esta instancia federada de base de datos a un Proyecto.

spec.cloudProviderConfig

Tipo: objeto

Requerido

Lista que contiene las configuraciones del proveedor de nube para la instancia de base de datos federada.

spec.cloudProviderConfig.aws

Tipo: objeto

Requerido

Nombre del proveedor de servicios en la nube que aloja la instancia de base de datos federada.

spec.cloudProviderConfig.aws.roleId

Tipo: string

Requerido

Identificador único del rol que la instancia de base de datos federada puede utilizar para acceder a los almacenes de datos.

spec.cloudProviderConfig.aws.testS3Bucket

Tipo: string

Requerido

Nombre del depósito de datos S3 al que el ID de rol proporcionado está autorizado a acceder.

spec.dataProcessRegion

Tipo: objeto

Requerido

Información sobre la región del proveedor de nube a la que la instancia de base de datos federada enruta las conexiones de cliente. Atlas Kubernetes Operator solo es compatible con AWS.

spec.dataProcessRegion.cloudProvider

Tipo: string

Requerido

Nombre del proveedor de servicios en la nube que aloja los almacenes de datos de la instancia de base de datos federada. El operador de Kubernetes de Atlas acepta los siguientes valores:

• AWS

• TENANT

• SERVERLESS

spec.dataProcessRegion.region

Tipo: string

Requerido

Etiqueta que indica la ubicación geográfica de los almacenes de datos de la instancia de base de datos federada. El operador de Kubernetes de Atlas acepta los siguientes valores:

• SYDNEY_AUS

• MUMBAI_IND

• FRANKFURT_DEU

• DUBLIN_IRL

• LONDON_GBR

• VIRGINIA_USA

• OREGON_USA

• SAOPAULO_BRA

• SINGAPORE_SGP

spec.name

Tipo: string

Opcional

Etiqueta que identifica la instancia de base de datos federada en Atlas.

spec.storage

Tipo: objeto

Opcional

Información de configuración para cada almacén de datos y su mapeo a bases de datos Atlas.

spec.storage.databases

Tipo: arreglo

Opcional

Lista que contiene las bases de datos y colecciones consultables para esta instancia de base de datos federada.

spec.storage.databases.collections

Tipo: arreglo

Opcional

Lista de colecciones y fuentes de datos que se asignan a un almacén de datos stores.

spec.storage.databases.collections.dataSources

Tipo: arreglo

Opcional

Lista que contiene los almacenes de datos que se asignan a una colección para esta instancia de base de datos federada.

spec.storage.databases.collections.dataSources.allowInsecure

Tipo: booleano

Opcional

Marca que valida el esquema en las URL especificadas. Si es true, el operador de Kubernetes de Atlas permite el esquema inseguro HTTP, no verifica la cadena de certificados ni el nombre de host del servidor y acepta cualquier certificado con cualquier nombre de host presentado por el servidor. Si es false, el operador de Kubernetes de Atlas solo permite asegurar el esquema HTTPS.

spec.storage.databases.collections.dataSources.collection

Tipo: string

Opcional

Etiqueta legible que identifica la colección en la base de datos. Para crear una colección con comodín (*), debe omitir este parámetro.

spec.storage.databases.collections.dataSources.collectionRegex

Tipo: string

Opcional

Patrón de expresión regular que se utilizará para crear una colección de comodines (*).

spec.storage.databases.collections.dataSources.database

Tipo: string

Opcional

Etiqueta legible que identifica la base de datos que contiene la colección en el clúster. Debe omitir este parámetro para generar colecciones con comodín (*) para bases de datos generadas dinámicamente.

spec.storage.databases.collections.dataSources.databaseRegex

Tipo: string

Opcional

Patrón de expresión regular a utilizar para crear la base de datos de comodín (*).

spec.storage.databases.collections.dataSources.defaultFormat

Tipo: string

Opcional

Formato de archivo que utiliza Atlas Kubernetes Operator si encuentra un archivo sin extensión al buscar storeName. Atlas Kubernetes Operator acepta los siguientes valores:

• .avro

• .avro.bz2

• .avro.gz

• .bson

• .bson.bz2

• .bson.gz

• .bsonx

• .csv

• .csv.bz2

• .csv.gz

• .json

• .json.bz2

• .json.gz

• .orc

• .parquet

• .tsv

• .tsv.bz2

• .tsv.gz

spec.storage.databases.collections.dataSources.path

Tipo: string

Opcional

Ruta de archivo que controla cómo Atlas Kubernetes Operator busca y analiza los archivos en storeName antes de asignarlos a una colección. Especifique / para capturar todos los archivos y carpetas de la ruta de prefijo.

spec.storage.databases.collections.dataSources.provenanceFieldName

Tipo: string

Opcional

Etiqueta legible que identifica el campo que incluye la procedencia de los documentos en los resultados. El operador de Kubernetes de Atlas devuelve diferentes campos en los resultados para cada proveedor compatible.

spec.storage.databases.collections.dataSources.storeName

Tipo: string

Opcional

Etiqueta legible por humanos que identifica el almacén de datos que Atlas Kubernetes Operator asigna a la colección.

spec.storage.databases.collections.dataSources.urls

Tipo: arreglo

Opcional

URL de los archivos de datos de acceso público. No se pueden especificar URL que requieran autenticación. Atlas Data Federation crea una partición para cada URL. Si se deja vacío o se omite, Atlas Data Federation utiliza las URL del almacén especificado en el parámetro dataSources.storeName.

spec.storage.databases.collections.name

Tipo: string

Opcional

Etiqueta legible por humanos que identifica la colección a la que Atlas Kubernetes Operator asigna los datos en los almacenes de datos.

spec.storage.databases.maxWildcardCollections

Tipo: int32

Opcional

Número máximo de colecciones de comodines en la base de datos. Esto solo aplica a las fuentes de datos S3. El valor predeterminado es 100.

spec.storage.databases.name

Tipo: string

Opcional

Etiqueta legible por humanos que identifica la base de datos a la que la instancia de base de datos federada asigna datos.

spec.storage.databases.views

Tipo: arreglo

Opcional

Lista de pipeline de agregación que se aplican a la colección. Esto solo se aplica a las fuentes de datos S3.

spec.storage.databases.views.name

Tipo: string

Opcional

Etiqueta legible por humanos que identifica la vista, que corresponde a una canalización de agregación en una colección.

spec.storage.databases.views.pipeline

Tipo: string

Opcional

Etapas de la canalización de agregación que se aplicarán a la colección de origen.

spec.storage.databases.views.source

Tipo: string

Opcional

Etiqueta legible por humanos que identifica la colección de origen de la vista.

spec.storage.stores

Tipo: arreglo

Opcional

Lista que contiene los almacenes de datos para la instancia de base de datos federada.

spec.storage.stores.name

Tipo: string

Opcional

Etiqueta legible que identifica el almacén de datos. El campo spec.storage.databases.collections.dataSources.storeName hace referencia a estos valores como parte de la configuración de mapeo.

spec.storage.stores.provider

Tipo: string

Condicional

Proveedor del almacén. El operador de Kubernetes de Atlas solo admite S3. Debe especificar este campo para usar un almacén de datos.

spec.storage.stores.additionalStorageClasses

Tipo: arreglo

Opcional

Colección de 3 clases de almacenamiento de AWS S. Atlas Data Federation incluye los archivos de estas clases de almacenamiento en los resultados de la consulta. El operador de Kubernetes de Atlas acepta los siguientes valores:

• STANDARD

• INTELLIGENT_TIERING

• STANDARD_IA

spec.storage.stores.bucket

Tipo: string

Opcional

Etiqueta legible que identifica el bucket de AWS 3 S. Esta etiqueta debe coincidir exactamente con el nombre de un bucket de S3 al que la instancia de base de datos federada puede acceder con las credenciales de AWS IAM configuradas.

spec.storage.stores.delimiter

Tipo: string

Opcional

El delimitador que separa los segmentos spec.storage.databases.collections.dataSources.path en el almacén de datos. El operador de Atlas Kubernetes utiliza este delimitador para recorrer eficientemente 3 los buckets S con una estructura de directorios jerárquica. Puede especificar cualquier carácter compatible con las3 claves de objeto S como delimitador. Por ejemplo, puede especificar un guion bajo (),_ un signo más ()+ o varios caracteres, como guiones bajos dobles ().__ Si se omite, el valor predeterminado / es.

spec.storage.stores.includeTags

Tipo: booleano

Opcional

Marca que indica si se deben usar etiquetas S3 en los archivos de la ruta especificada como atributos de partición adicionales. Si se establece como verdadero, Atlas Kubernetes Operator agrega las etiquetas S3 como atributos de partición adicionales y nuevos elementos BSON de nivel superior que asocian cada etiqueta a cada documento. Si se omite, el valor predeterminado es false.

spec.storage.stores.prefix

Tipo: string

Opcional

Prefijo que Atlas Kubernetes Operator aplica al buscar archivos en el3 bucket S. El almacén de datos antepone el valor de prefijo a spec.storage.databases.collections.dataSources.path para crear la ruta completa de los archivos que se van a ingerir. Si se omite, Atlas Kubernetes Operator busca todos los archivos desde la raíz del3 bucket S.

spec.storage.stores.public

Tipo: booleano

Opcional

Indicador que señala si el bucket es público. Si se configura en true, el Operador de Atlas Kubernetes no utiliza el rol de AWS IAM configurado para acceder al bucket S3. Si está configurado en false, el rol AWS IAM configurado debe incluir permisos para acceder al bucket S3.

spec.storage.stores.region

Tipo: string

Opcional

Región deAWS que indica la ubicación física del 3 bucket S.

spec.privateEndpoints

Tipo: arreglo

Opcional

Lista que contiene las configuraciones de puntos finales privados para la instancia de base de datos federada.

spec.privateEndpoints.endpointId

Tipo: string

Requerido

22Cadena alfanumérica única de caracteres que comienza con vpce- y que identifica el punto final privado en AWS

spec.privateEndpoints.provider

Tipo: string

Opcional

Etiqueta legible que identifica al proveedor de servicios en la nube. Atlas Data Federation solo admite AWS.

spec.privateEndpoints.type

Tipo: string

Opcional

Etiqueta legible que identifica el tipo de recurso asociado a este punto final privado. Atlas Data Federation solo admite DATA_LAKE.

spec.projectRef.name

Tipo: string

Requerido

Nombre del proyecto al que pertenece la instancia de base de datos federada. Debe especificar un recurso personalizado AtlasProject existente.

spec.projectRef.namespace

Tipo: string

Requerido

Espacio de nombres en el que existe AtlasProject el recurso personalizado especificado en spec.projectRef.name.