Puedes usar el lenguaje del query de MongoDB (MQL) en Atlas Data Federation para query y analizar datos en tu almacén de datos. Atlas Data Federation admite la mayoría, pero no todos, los comandos estándar del servidor. Para aprender más sobre los comandos soportados y no soportados del servidor MongoDB y las etapas del pipeline de agregación, consulta Comandos soportados de MongoDB.
Puede combinar datos de múltiples fuentes en un único queries federados. Sin embargo, Atlas Data Federation no admite queries federados entre proveedores de nube. Por lo tanto, no puede incluir un bucket de AWS S3 y un contenedor de almacenamiento Blob de Azure en el mismo query federado.
Para consultar datos en tu almacén de datos, tu configuración de almacenamiento de instancias de bases de datos federadas debe contener configuraciones que definan lo siguiente:
El almacenamiento de tu instancia de base de datos federada.
Bases de datos y colecciones virtuales de Instancia federada de base de datos que se asignan a tu almacén de instancia federada de base de datos.
Puedes crear o actualizar la configuración de almacenamiento de tu instancia federada de base de datos para tu almacén de datos usando la Interfaz de Usuario de Atlas Visual Editor o JSON Editor, los comandos de la CLI de Atlas Data Federation y los endpoints de la API de Atlas Data Federation. Para aprender más sobre la configuración del almacenamiento de la instancia federada de base de datos, consulte Configurar Almacenes de Datos para una Instancia federada de base de datos.
Atlas Data Federation crea las bases de datos y colecciones virtuales que especificaste en la configuración de la instancia federada de base de datos para los datos en tu almacén de datos. Cuando conectas a tu instancia federada de base de datos y ejecutas consultas, Atlas Data Federation procesa tus consultas contra los datos y devuelve los resultados de la consulta. Opcionalmente, puede configurar límites en la cantidad de datos que Atlas Data Federation procesa para tus consultas para controlar los costos.
Nota
Atlas Data Federation utiliza almacenamiento en columnas que no conserva el orden de los campos dentro de los documentos. Por lo tanto, Atlas Data Federation no permite consultas que sean sensibles al orden de los campos, como una consulta de igualdad de documentos incrustados o el ordenamiento de un campo de documentos.
Un usuario de base de datos debe tener uno de los siguientes roles para ejecutar queries en una instancia federada de base de datos:
Un rol personalizado con el privilegio de
findpara el namespace contra el que desea ejecutar query
Puede combinar diferentes tipos de origen en una sola queries federados. Sin embargo, no puede incluir un bucket de AWS S3 y un contenedor de almacenamiento de Azure Blob. Estos son tipos de origen admitidos, pero no puede realizar query de todas las combinaciones de ellos. Puede ejecutar hasta 30 query simultáneo en su instancia federada de base de datos contra:
Datos en su cubo S3 o contenedor de almacenamiento de blobs de Azure.
Documentos en tu clúster de MongoDB Atlas.
Datos archivados en tu fichero en línea.
Datos en archivos alojados en URLs de acceso público.
El límite de 30-query es un límite de concurrencia. No permite que una sola query combine el almacenamiento de objetos de múltiples proveedores de nube.
Tip
Las siguientes secciones contienen información sobre cómo ejecutar query en los datos almacenados.
Consultando datos en S3
Al implementar su instancia federada de base de datos, si especificó un bucket de S3 con permisos de lectura y escritura o un 3permiso s:PutObject de3 AWS S, también puede guardar los resultados de la query en su bucket de3 S mediante el3 uso de $out en S.
Si crea o actualiza correctamente un objeto en su almacenar de datos S3, Data Federation devuelve la última versión de ese objeto para cualquier solicitud de lectura posterior y todas las operaciones de lista de los objetos también reflejan los cambios. Si su query contiene varias etapas, cada etapa recibe los datos más recientes disponibles del almacenar de datos a medida que se procesa esa etapa.
Por defecto, Atlas Data Federation no devuelve documentos en ningún orden específico para queries en Data Federations para almacenes de datos S3. Atlas Data Federation lee las particiones simultáneamente y el orden de respuesta del almacenamiento subyacente determina qué documentos devuelve Atlas Data Federation primero, a menos que defina el orden mediante $sort en su query. Por ejemplo, si ejecuta la misma query findOne() dos veces, podría ver documentos diferentes, y si utiliza $skip, se podrían omitir documentos diferentes si no se utiliza $sort en la query.
Tienes costos de "Datos procesados" por la cantidad de datos que Atlas Data Federation procesa para devolver resultados para tus consultas, además del costo de "Datos devueltos" por la cantidad de datos que Atlas Data Federation devuelve. Por ejemplo, para un archivo de 10 GB, incurres en el siguiente costo de “Datos procesados” además del costo de “Datos devueltos”:
Si no tienes particiones, Atlas Data Federation lee el archivo completo para devolver los resultados de la query. Por lo tanto, incurrirá en 10 GB de costo de "Datos procesados".
Si tiene 10 particiones de 1 GB cada una, Atlas Data Federation se dirige y lee una sola partición. Por lo tanto, incurres en un costo de 1 GB de "Datos procesados".
Puede configurar límites de query por instancia federada de base de datos y para todas las instancias federadas de base de datos en su Proyecto para limitar la cantidad de datos procesados. Para obtener más información, consulte Gestionar los límites de query de procesamiento de datos de Atlas Data Federation.
Nota
El particionamiento de datos no garantiza una reducción en el costo de procesamiento de datos. Por ejemplo, si ejecutas una $match query en blanco, que consulta todos los datos, Atlas Data Federation necesita leer la colección completa para devolver los resultados de la query, independientemente del número de particiones.
Consulta de datos en Azure Blob almacenamiento
Al implementar tu instancia federada de base de datos, puedes especificar un contenedor Azure Blob almacenamiento con permisos de lectura y guardar.
Tienes costos de "Datos procesados" por la cantidad de datos que Atlas Data Federation procesa para devolver resultados para tus consultas, además del costo de "Datos devueltos" por la cantidad de datos que Atlas Data Federation devuelve. Por ejemplo, para un archivo de 10 GB, incurres en el siguiente costo de “Datos procesados” además del costo de “Datos devueltos”:
Si no tienes particiones, Atlas Data Federation lee el archivo completo para devolver los resultados de la query. Por lo tanto, incurrirá en 10 GB de costo de "Datos procesados".
Si tiene 10 particiones de 1 GB cada una, Atlas Data Federation se dirige y lee una sola partición. Por lo tanto, incurres en un costo de 1 GB de "Datos procesados".
Puede configurar límites de query por instancia federada de base de datos y para todas las instancias federadas de base de datos en su Proyecto para limitar la cantidad de datos procesados. Para obtener más información, consulte Gestionar los límites de query de procesamiento de datos de Atlas Data Federation.
Consultar datos en Google Cloud almacenamiento
Al implementar su instancia de base de datos federada, puede especificar un bucket de Google Cloud almacenamiento con permisos de lectura y guardar.
Tienes costos de "Datos procesados" por la cantidad de datos que Atlas Data Federation procesa para devolver resultados para tus consultas, además del costo de "Datos devueltos" por la cantidad de datos que Atlas Data Federation devuelve. Por ejemplo, para un archivo de 10 GB, incurres en el siguiente costo de “Datos procesados” además del costo de “Datos devueltos”:
Si no tienes particiones, Atlas Data Federation lee el archivo completo para devolver los resultados de la query. Por lo tanto, incurrirá en 10 GB de costo de "Datos procesados".
Si tiene 10 particiones de 1 GB cada una, Atlas Data Federation se dirige y lee una sola partición. Por lo tanto, incurres en un costo de 1 GB de "Datos procesados".
Puede configurar límites de query por instancia federada de base de datos y para todas las instancias federadas de base de datos en su Proyecto para limitar la cantidad de datos procesados. Para obtener más información, consulte Gestionar los límites de query de procesamiento de datos de Atlas Data Federation.
Consultando datos en tu clúster de Atlas
Cuando ejecuta consultas contra su clúster de Atlas a través de su instancia federada de base de datos, Atlas Data Federation establece el appName, al consultar el clúster, según el appName que haya utilizado para conectarse a la instancia federada de base de datos. Por ejemplo, si te conectas a tu instancia federada de base de datos con appName establecido en myApp (es decir, appName = "myApp"), Atlas Data Federation establece el appName al conectar a su clúster de la siguiente manera:
atlas-data-federation|myAppSi consultas una colección en Atlas Data Federation que está asignada a una sola colección Atlas, Atlas Data Federation actúa como un proxy y reenvía tus queries a Atlas. Cuando actúa como proxy, Atlas Data Federation no escanea datos en su colección virtual para procesar la query, lo que mejora el rendimiento y reduce el costo. Esta optimización no está disponible para queries en colecciones de Atlas Data Federation que están mapeadas a varias colecciones de Atlas.
Ejemplo
Considera la siguiente configuración de almacenamiento de instancia federada de base de datos:
{ "stores" : [ { "name" : "atlas-store", "provider": "atlas", "clusterName": "myCluster", "projectId": "5e2211c17a3e5a48f5497de3" } ], "databases" : [ { "name" : "atlas-db", "collections" : [ { "name" : "foo", "dataSources" : [ { "storeName" : "atlas-store", "database" : "myFooData", "collection" : "foo" } ] }, { "name" : "barbaz", "dataSources" : [ { "storeName" : "atlas-store", "database" : "myBarData", "collection" : "bar" }, { "storeName" : "atlas-store", "database" : "myBazData", "collection" : "baz" } ] } ] } ]}Para la configuración de almacenamiento anterior, Atlas Data Federation actúa como proxy de las consultas en la colección foo y reenvía las consultas a Atlas. Esta optimización de rendimiento y costo no está disponible para las queries en la colección barbaz porque barbaz está asignada a múltiples colecciones de Atlas.
También puedes guardar los resultados de tus consultas en tu clúster de Atlas usando $out en Atlas.
Si crea o actualiza con éxito un documento en su colección del clúster de Atlas, Data Federation devuelve la última versión de ese documento para cualquier solicitud de lectura posterior y todas las operaciones de listado de la colección también reflejan los cambios. Si su consulta contiene varias etapas, cada etapa recibe los datos más recientes disponibles del almacén de datos a medida que esa etapa se procesa.
Atlas registra tus queries contra los datos de tu clúster en los registros de auditoría del clúster de Atlas. La entrada del registro para un usuario de base de datos tiene el siguiente formato:
<SERVICE_NAME>-<ATLAS_DATA_FEDERATION_INSTANCE_NAME>-<DATABASE_USER_NAME>Por ejemplo, para un usuario de base de datos configurado en Atlas como "user" : "CN=atlasDataFederation-DataFederation0-test_datafederation0", una entrada de registro en el registro de auditoría del clúster Atlas se ve de manera similar a lo siguiente:
{ "atype" : "authenticate", "ts" : { "$date" : "2022-04-29T13:17:54.020+00:00" }, "local" : { "ip" : "XXXX", "port" : 27017 }, "remote" : { "ip" : "XXXXX", "port" : 10844 }, "users" : [ { "user" : "CN=atlasDataFederation-DataFederation0-test_datafederation0", "db" : "$external" } ], "roles" : [ { "role" : "backup", "db" : "admin" }, { "role" : "readWriteAnyDatabase", "db" : "admin" }, { "role" : "clusterMonitor", "db" : "admin" }, { "role" : "enableSharding", "db" : "admin" }, { "role" : "atlasAdmin", "db" : "admin" }, { "role" : "dbAdminAnyDatabase", "db" : "admin" } ], "param" : { "user" : "CN=atlasDataFederation-DataFederation0-test_datafederation0", "db" : "$external", "mechanism" : "MONGODB-X509" }, "result" : 0}Nota
El mecanismo de conexión siempre es MONGODB-X509 en los registros de auditoría del clúster de Atlas.
Consultas de datos en tus ficheros en línea
Para las query, Atlas Data Federation utiliza las particiones que creó en los campos durante la creación de Atlas Online Archive. El orden de los campos en las particiones es importante, ya que los datos se optimizan para las query por el primer campo, seguido del segundo campo, y así sucesivamente. Para hacer query Atlas fichero en linea de forma eficaz, utilice todos los campos de partición definidos en el orden en que se definen. Las query que utilizan todos los campos de partición en el orden en que se definieron se dirigen a particiones específicas y minimizan la cantidad de datos que escanean.
Atlas Data Federation es menos eficiente en el soporte de consultas en campos que no tienen particiones.
Consulta de datos en una HTTP o HTTPS URL
Data Federation también crea una partición para cada URL en tu colección. Cuando conectas a tu instancia federada de base de datos y ejecutas queries, Data Federation procesa tus queries con respecto a los datos y devuelve los resultados de las queries.
Ejecución de queries federados
Puedes usar Atlas Data Federation para query una vista unificada que combina datos de clúster de Atlas con ficheros en linea y datos HTTP o HTTPS. Su query también puede incluir un bucket de AWS S3 o un contenedor de Azure Blob almacenamiento. Para queries federados, la configuración de almacenamiento de tu instancia federada de base de datos debe contener los ajustes que definen:
Sus almacenes de Atlas, fichero en linea y HTTP, y un bucket de AWS S3 o un contenedor de Azure Blob almacenamiento.
Nota
Atlas Data Federation no soporta queries federados entre proveedores de nube. Por lo tanto, no se pueden ejecutar queries federados contra los datos almacenados en cubos de AWS S3 y contenedores de almacenamiento de blobs de Azure. Independientemente del proveedor de nube que respalde su clúster de Atlas, puede ejecutar queries federados en los datos de su clúster de Atlas y en un bucket de AWS S3 o en un contenedor de Azure Blob almacenamiento simultáneamente.
Instancias federadas de base de datos con colecciones virtuales que se asignan a su cubo S3 o Azure Blob almacenamiento, clúster de Atlas, fichero en linea y almacenar HTTP.
Puedes crear o actualizar la configuración de almacenamiento de tu instancia federada de base de datos usando la Interfaz de Usuario de Atlas Visual Editor o la JSON Editor, los comandos CLI de Atlas Data Federation y los puntos finales de la API de Atlas Data Federation. Para obtener más información sobre la configuración del almacenamiento de instancias federadas de base de datos, consulta Configurar almacenes de datos para una instancia federada de base de datos.
Cuando se conecta a su instancia federada de base de datos y ejecuta queries federados, Data Federation combina los datos de todas sus fuentes. Estas fuentes son su clúster de Atlas, datos HTTP o HTTPS, y un bucket de S3 o un contenedor de almacenamiento de blobs de Azure. Data Federation almacena los datos agregados en base de datos y colección virtuales, y devuelve una unión de datos en los resultados.
Configurando límites de query
Puede limitar la cantidad de datos que Atlas Data Federation procesa para sus query para controlar los costos. Para limitar la cantidad de datos que Atlas Data Federation procesa para sus query, puede configurar límites de query por instancia federada de base de datos o para todas las instancias federadas de base de datos de su Proyecto. Cuando la cantidad de datos procesados alcance cualquier límite configurado aplicable, Atlas Data Federation no ejecutará ninguna query nueva y devolverá un error a la aplicación cliente de que se ha alcanzado un límite. Para obtener más información, consulte Gestionar los límites de query de procesamiento de datos de Atlas Data Federation.
Solución de problemas
Error: Actualmente estamos experimentando tiempos de espera más prolongados para el procesamiento de consultas en Atlas Data Federation. Nuestro equipo de ingeniería está investigando. El servicio normal se reanudará en breve, por favor intente de nuevo.
Atlas Data Federation devuelve este error solo cuando Atlas Data Federation no puede ejecutar consultas debido a la contención de recursos. Te recomendamos que vuelvas a ejecutar tus consultas.