BLOGAnnounced at MongoDB.local NYC 2024: A recap of all announcements and updates — Learn more >

Eni gestiona terabytes de datos no estructurados con MongoDB Atlas

image of a woman working on a laptop

INDUSTRIA

Energía

PRODUCTO

MongoDB Atlas
MongoDB Atlas Search
MongoDB Atlas Charts

CASO DE USO

Gestión de contenido
IA y aprendizaje automático

CLIENTE DESDE

2022
INTRODUCCIÓN

Una empresa energética líder en transición a cero emisiones netas

Con sede en Italia, Eni es una empresa líder en el sector energético con más de 30.000 empleados en 69 países. Sus operaciones van desde la exploración y perforación de gas natural y petróleo hasta la cogeneración de electricidad, energías renovables, biorefinación y producción química.

En 2020, Eni lanzó una estrategia para alcanzar las cero emisiones netas para 2050 y desarrollar productos más sostenibles desde el punto de vista medioambiental y financiero. Las décadas de investigación e innovación de Eni en torno a la tecnología serán vitales para lograrlo.

“Trabajo en el equipo de informática técnica para geociencias y operaciones subterráneas junto con los departamentos de geología, geociencia y geofísica", explica Sabato Severino, arquitecto de soluciones de IA para geociencias en Eni. "Somos responsables de encontrar las mejores soluciones del mercado para nuestra infraestructura en la nube y adaptarlas a las necesidades específicas del negocio.”

Los proyectos incluyen el uso de IA para la perforación y exploración, el aprovechamiento de las API en la nube para acelerar la innovación y la creación de una plataforma inteligente para promover el intercambio de conocimientos en la división de negocios más grande de la compañía: los recursos naturales.

La plataforma de gestión de documentos para geociencias de Eni ofrece un ecosistema de servicios y aplicaciones para crear y compartir contenidos. Aprovecha los modelos de IA integrados para extraer información de documentos y almacena datos no estructurados en una base de datos NoSQL. Estos datos están estrechamente conectados con datos estructurados gestionados por una plataforma de datos patentada. Estos datos se visualizan en aplicaciones personalizadas para administradores de contenido, analistas de datos y especialistas como geólogos, ingenieros y equipos de perforación para obtener más información.

“Nuestra plataforma debe ser segura, precisa y eficiente. La precisión es vital para los científicos que trabajan en esta industria”, explica Severino. “Si se utilizan correctamente, estos datos nos ayudan a trabajar de forma más rápida e inteligente, reducen los costes mediante la optimización y respaldan nuestras decisiones empresariales.”

EL DESAFÍO

Disponibilidad de datos completos para la investigación científica

La plataforma de documentos de Eni ingesta y homogeneiza grandes cantidades de datos no estructurados. Los documentos generados por diferentes países abarcan italiano, inglés y francés, y cada región utiliza diferentes unidades de medida. Los usuarios introducían datos en los paneles para realizar consultas basadas en criterios específicos, pero la falta de estandarización hacía que fuera demasiado complejo crear conjuntos de datos completos y realizar consultas con la base de datos relacional original.

Los retos para el equipo de Severino eran mantener la plataforma mientras ingestaba un volumen creciente de datos - cientos de miles de documentos y terabytes de datos - y permitir a los diferentes grupos de usuarios extraer información relevante de registros completos de forma rápida y fácil.

“A medida que desarrollamos nuestra plataforma, nos dimos cuenta de que pasábamos demasiado tiempo gestionando múltiples sistemas. Necesitábamos acelerar el tiempo de comercialización y garantizar que la plataforma pudiera soportar un entorno global multi-cloud en el futuro - algo que nuestra base de datos actual no podía hacer”, dice Severino.

Desde un punto de vista técnico, la empresa necesitaba crear una plataforma de datos de documentos escalable y administrada que permitiera la organización, recuperación y utilización de los datos extraídos y enriquecidos de documentos procesados. Este sistema necesitaba ser capaz de realizar búsquedas complejas a través de una interfaz similar a Google, y permitir el desarrollo de un conjunto de microservicios de Procesamiento de Lenguaje Natural (PLN) y de IA generativa para apoyar el ecosistema. La plataforma de datos de documentos actuaría como una infraestructura de soporte para almacenar y manipular textos, tablas, imágenes y metadatos obtenidos de los procesos de extracción y enriquecimiento de contenidos.

Sample Eni Intelligent Chatbot question flow

Figura 1: Ejemplo de flujo de preguntas del Chatbot inteligente de Eni

LA SOLUCIÓN

Migración a una plataforma de datos de documentos gestionados independiente de la nube

Eni se asoció con MongoDB Consulting para formar y apoyar la migración de cargas de trabajo a MongoDB Atlas. “MongoDB es mucho más rentable que nuestra solución anterior, que tenía un modelo de precios complejo que hacía difícil optimizar los costos para cargas de trabajo impredecibles”, dice Severino.

La compañía quería pasar a un servicio administrado con una experiencia de usuario perfecta y una interfaz fácil de usar para los desarrolladores. Muchos miembros del personal ya estaban familiarizados con MongoDB, lo que simplificó la transición y garantizó una eficiencia continua. Inicialmente, el equipo de Eni implementó los clusters de MongoDB en Azure; sin embargo, la naturaleza agnóstica de la plataforma en nube de MongoDB ofrece la flexibilidad que Eni necesitaba para evitar el bloqueo de proveedores y mantener las capacidades multi-cloud. Esto se ajusta a su estrategia a largo plazo y garantiza que pueda adaptarse a los cambiantes requisitos del negocio.

“MongoDB Atlas no es solo una base de datos, es un conjunto completo de productos y servicios. Es independiente del proveedor de servicios en la nube y combina la funcionalidad con la flexibilidad que necesitábamos para hacerla nuestra", explica Severino. "El apoyo que recibimos de MongoDB Consulting fue genial, se adaptó a nuestros desafíos únicos y esperamos que esa relación crezca en el futuro.”

Eni inició un entorno de prueba en MongoDB Atlas y con soporte para múltiples lenguajes de programación, datos JSON y API REST - que permiten acceder a los datos a través de solicitudes de HTTPs - Eni puede cumplir con los estrictos requisitos de seguridad y cumplimiento de datos de la industria.

“MongoDB Atlas es simple de integrar y facilita la ingestión y desacoplamiento de datos de otros sistemas", dice Severino. "Las funciones avanzadas de seguridad como la autenticación, autorización y cifrado de datos en tránsito y en reposo son vitales para proteger los datos y reducir el riesgo de pérdida.”

Sabato Severino, arquitecto de soluciones de IA para la geociencia en Eni

Con MongoDB Atlas, los usuarios de Eni pueden encontrar rápidamente datos que abarcan varios años y geografías para identificar tendencias y analizar modelos que apoyen la toma de decisiones dentro del campo. MongoDB Atlas Search también ayuda filtrando documentos irrelevantes. El primer equipo en poner esto a prueba fue un grupo de expertos en tecnología del departamento de exploración, que se unieron con el objetivo de inspirar a otros equipos de Eni a usar la plataforma. El equipo también integró modelos de IA y machine learning, como la búsqueda vectorial, con la plataforma para facilitar aún más la identificación de patrones.

“Anteriormente, los datos aislados significaban que estábamos en riesgo de que los informes no fueran completamente precisos. Cuando se opera a través de geografías y se buscan pequeñas variaciones y cambios en el paisaje geofísico, es muy importante que los modelos se basen en datos completos y no solo en los datos recogidos mediante una búsqueda básica”, explica Severino.

Eni platform architecture with MongoDB

Figura 2: Arquitectura de la plataforma Eni con MongoDB

Anteriormente, el desarrollo de paneles para aplicaciones y análisis de datos también era un proceso complejo. Eni se basó en una mezcla de herramientas de código abierto y comerciales, escribiendo código para definir componentes, diseños e interacciones, y dominando los lenguajes de scripting y las características de gestión de datos. Esto creó una considerable curva de aprendizaje para los desarrolladores. Con la introducción de Atlas Charts, una solución sin código para crear atractivos paneles interactivos, junto con otras soluciones como Power BI, el pain point se ha aliviado significativamente.

“Atlas Charts es realmente útil para visualizar datos no estructurados. Solíamos introducirlo manualmente en archivos Excel o CSV, que son difíciles de leer para el ojo humano”, comenta Severino. “Ahora los usuarios pueden conectarse fácilmente a fuentes de datos, crear gráficos y crear paneles con el mínimo esfuerzo, incluso si no son desarrolladores.”

Y como es una característica nativa de MongoDB Atlas, permite actualizaciones en tiempo real a los paneles y hace que trabajar con datos sea mucho más fácil y más accesible.

LOS RESULTADOS

Mayor rendimiento y capacidad de búsqueda más inteligente

La las opiniones iniciales sobre el entorno de prueba ha sido positiva. Los usuarios están impresionados por el rendimiento de la plataforma, y Severino espera que sea aún más fácil de gestionar cuando MongoDB Atlas se integre en el ecosistema más amplio de Eni.

Al construir su plataforma interna con MongoDB, tanto los desarrolladores como los científicos que acceden a los informes en Eni disfrutan de una experiencia de usuario más fluida. Los científicos pueden personalizar los informes en función del proyecto específico en el que están trabajando y no necesitan pedirle a un colega que construya gráficas para ellos, lo que en última instancia acelerará la innovación y la toma de decisiones. Tienen una función de búsqueda avanzada y fácil de usar para encontrar conjuntos de datos completos rápida y fácilmente.

Los desarrolladores, mientras tanto, tienen una mejor visibilidad en todo el entorno desde el tablero de MongoDB Atlas y pueden pasar más tiempo personalizando el sistema y menos tiempo en el mantenimiento de rutina, lo que acelerará el tiempo de comercialización. Las previsiones sugieren que esta reducción del tiempo de desarrollo generará ahorros de costes y una mayor eficiencia.

“Desde que migramos a MongoDB Atlas, hemos reducido significativamente el desarrollo gracias a las funciones de gestión optimizadas de la plataforma y el panel de control fácil de usar”, dice Severino. “Eso se ha traducido en ahorros significativos de costes para nuestra organización.”

Aprovechando las funciones de gestión automatizada, los desarrolladores también pueden pasar mucho menos tiempo en el en tareas de mantenimiento rutinarias, como copias de seguridad y actualizaciones. Esto los libera para centrarse en tareas más valiosas, como personalizar el sistema e implementar nuevas características, mejorando la productividad y eficiencia general del equipo.

“Nos propusimos implementar MongoDB para la unidad de subsuelo y recursos naturales, pero ya hemos llamado la atención de nuestros colegas en todo el negocio. Si seguimos obteniendo buenos resultados, estaremos encantados de recomendar un despliegue más amplio en toda la empresa”, concluye Severino.

A medida que Eni lidera la transición hacia un futuro más verde, MongoDB Atlas hará que sea más fácil y rápido recopilar enormes volúmenes de datos no estructurados en su plataforma inteligente y hacerlos procesables. Para los científicos que llevan a cabo investigaciones vitales, esta experiencia sin fricciones les permitirá centrarse en el trabajo que más importa.

La compañía también está motivada por explorar cómo la IA generativa acelerará los proyectos subterráneos en el futuro. “La IA generativa que hemos introducido actualmente crea embeddings vectoriales a partir de documentos, por lo que cuando un usuario hace una pregunta, recupera el documento más relevante y utiliza LLMs para construir la respuesta”, explica Severino.

“Estamos buscando la migración de embeddings vectoriales en MongoDB Atlas para crear un sistema completamente integrado y funcional. Después podremos usar Atlas Vector Search para crear experiencias impulsadas por IA sin salir de la plataforma Atlas - una experiencia mucho mejor para los desarrolladores.”

“MongoDB Atlas no es solo una base de datos, es un conjunto completo de productos y servicios. Es independiente del proveedor de servicios en la nube y combina una rica funcionalidad con la flexibilidad que necesitábamos para hacerla nuestra.”

Sabato Severino, arquitecto de soluciones de IA para la geociencia en Eni

What will your story be?

MongoDB will help you find the best solution.