Eni hace que terabytes de datos subterráneos no estructurados sean aplicables on MongoDB Atlas

INTRODUCCIÓN

Una empresa energética líder en transición hacia el cero neto

Con sede en Italia, Eni es una empresa energética integrada líder con más de 30,000 empleados en 69 países. Sus operaciones van desde la exploración y perforación de gas natural y petróleo hasta la cogeneración de electricidad, energías renovables, biorrefinación y producción química.

En 2020, Eni puso en marcha una estrategia para alcanzar las cero emisiones netas para 2050 y desarrollar productos más sostenibles desde el punto de vista medioambiental y financiero. Las décadas de investigación e innovación de Eni en torno a la tecnología serán vitales para lograr este objetivo.

“Trabajo en el equipo de computación técnica para geociencias y operaciones de subsuelo junto con los departamentos de geología, geociencias y geofísica”, explica Sabato Severino, arquitecto sénior de soluciones de IA para geociencias en Eni. “Somos responsables de encontrar las mejores soluciones del mercado para nuestra infraestructura en la nube y adaptarlas para satisfacer las necesidades empresariales específicas”.

Los proyectos incluyen el uso de IA para la perforación y la exploración, el aprovechamiento de las API de la nube para acelerar la innovación y la creación de una plataforma inteligente para promover el uso compartido de los conocimientos en la mayor división comercial de la empresa: los recursos naturales.

La plataforma de gestión de documentos de Eni para geociencias ofrece un ecosistema de servicios y aplicaciones para crear y compartir contenido. Aprovecha modelos de IA integrados para extraer información de documentos y almacena datos no estructurados en una base de datos NoSQL. Estos datos están estrechamente conectados con datos estructurados gestionados por una plataforma de datos propietaria. Estos datos se visualizan en aplicaciones personalizadas para administradores de contenido, analistas de datos y especialistas como geólogos, ingenieros y equipos de perforación para obtener más perspectivas.

“Nuestra plataforma necesita ser segura, precisa y eficiente. La precisión es vital para los científicos que trabajan en esta industria”, explica Severino. “Si se utilizan correctamente, estos datos ayudan a trabajar de forma más rápida e inteligente, reducen los costos mediante la optimización y respaldan las decisiones empresariales”.

EL DESAFÍO

Poner a disposición datos completos para la investigación científica

La plataforma de documentos de Eni ingiere y homogeneiza grandes cantidades de datos no estructurados. Los documentos generados en varios países se redactan en italiano, inglés y francés, y cada región utiliza unidades de medida diferentes. Los usuarios cargan datos en los paneles para realizar consultas basadas en criterios específicos, pero la falta de estandarización dificultaba demasiado la creación de conjuntos de datos exhaustivos y la ejecución de queries con la base de datos relacional original.

Los desafíos para el equipo de Severino consistían en mantener la plataforma a medida que ingería un volumen creciente de datos —cientos de miles de documentos y terabytes de datos— y permitir que diferentes grupos de usuarios extrajeran perspectivas relevantes de registros completos de forma rápida y sencilla.

“A medida que desarrollábamos la plataforma, nos dimos cuenta de que dedicábamos demasiado tiempo a gestionar múltiples sistemas. Necesitábamos acelerar el tiempo de comercialización y, al mismo tiempo, garantizar que la plataforma pudiera ofrecer soporte a un entorno global y multi-nube en el futuro; algo que nuestra base de datos actual no podía hacer”, afirma Severino.

Desde un punto de vista técnico, la empresa necesitaba crear una plataforma de datos de documentos escalable y gestionada que permitiera la organización, recuperación y utilización de los datos extraídos y enriquecidos de los documentos procesados. Este sistema debía ser capaz de realizar búsquedas complejas a través de una interfaz similar a Google y permitir el desarrollo de un conjunto de microservicios de procesamiento de lenguaje natural (PLN) y de IA generativa para respaldar al ecosistema. La plataforma de datos de documentos actuaría como una infraestructura de soporte para el almacenamiento y manipulación de textos, tablas, imágenes y metadatos obtenidos de los procesos de extracción y enriquecimiento de contenido.

LA SOLUCIÓN

Migración a una plataforma de datos de documentos gestionada e independiente de la nube

Eni se asoció con MongoDB Consulting para recibir entrenamiento y soporte en la migración de cargas de trabajo a MongoDB Atlas. “MongoDB es mucho más rentable que nuestra solución anterior, la cual tenía un modelo de precios complejo que dificultaba la optimización de costos para cargas de trabajo impredecibles”, afirma Severino.

La empresa quería trasladarse a un servicio gestionado con una experiencia de usuario sin interrupciones y una interfaz fácil de usar para los desarrolladores. Gran parte del personal ya estaba familiarizado con MongoDB, lo que facilitó la transición y garantizó la eficiencia continua. Además, la naturaleza independiente de Atlas con respecto a la nube ofrece la flexibilidad que Eni necesitaba para evitar la dependencia de los proveedores y mantener las capacidades multi-nube. Esto se alinea con su estrategia a largo plazo y garantiza que pueda adaptarse a los cambios en los requisitos del negocio.

“MongoDB Atlas no es solo una base de datos, sino un conjunto completo de productos y servicios. Es independiente de la nube y combina una amplia funcionalidad con la flexibilidad que necesitábamos para hacerla nuestra”, explica Severino. “El soporte que recibimos de MongoDB Consulting fue excelente, estuvo adaptado a nuestros desafíos únicos y esperamos que esa relación crezca en el futuro”.

Eni inició un entorno de prueba en MongoDB Atlas y con soporte para múltiples lenguajes de programación, datos JSON y REST API (que permiten acceder a los datos mediante solicitudes HTTPS). Eni puede cumplir con los estrictos requisitos normativos y de seguridad de datos de la industria.

Con MongoDB Atlas, los usuarios de Eni pueden encontrar rápidamente datos que abarcan varios años y geografías para identificar tendencias y analizar modelos que sirven de soporte para la toma de decisiones dentro de su campo. MongoDB Atlas Search también ayuda a filtrar documentos irrelevantes. El primer equipo en poner esto a prueba fue un grupo de personal experto en tecnología del departamento de exploración, que se integró con el objetivo de motivar a otros equipos de Eni a utilizar la plataforma. El equipo también integró modelos de IA y aprendizaje automático, como la búsqueda vectorial, con la plataforma para facilitar aún más la identificación de patrones.

“Anteriormente, los datos aislados significaban que existía el riesgo de que los informes no fueran completamente precisos. Cuando se opera en diferentes geografías y se buscan pequeñas variaciones y cambios en el panorama geofísico, es realmente importante que los modelos se basen en datos completos y no solo en los datos obtenidos mediante una búsqueda básica”, explica Severino.

Otro proceso anteriormente complejo incluía el desarrollo de tableros para aplicaciones y análisis de datos. Eni dependía de una combinación de herramientas comerciales y de código abierto, escribiendo código para definir componentes, diseños e interacciones, y dominando lenguajes de script y funcionalidades de gestión de datos. Esto creó una curva de aprendizaje considerable para los desarrolladores. Con la introducción de Atlas Charts, una solución sin código para crear tableros interactivos atractivos, junto con otras soluciones como Power BI, el punto débil se mitigó significativamente.

“Atlas Charts es muy útil para visualizar datos no estructurados. Solíamos llevarlo manualmente a archivos Excel o CSV, que son difíciles de leer para el ojo humano”, comenta Severino. “Ahora, los usuarios pueden conectarse fácilmente a fuentes de datos, crear gráficos y construir paneles con el mínimo esfuerzo, incluso aunque no sean desarrolladores”.

Y, como una funcionalidad nativa de MongoDB Atlas, permite actualizaciones en tiempo real de los tableros y hace que trabajar con los datos sea mucho más sencillo y accesible.

LOS RESULTADOS

Mayor rendimiento y capacidades de búsqueda más inteligentes

Los comentarios iniciales sobre el entorno de prueba han sido positivos. Los usuarios están impresionados por el rendimiento de la plataforma y Severino espera que sea aún más fácil de gestionar cuando MongoDB Atlas se integre en el ecosistema más amplio de Eni.

Al construir su plataforma interna con MongoDB, tanto los desarrolladores como los científicos que acceden a los informes en Eni disfrutan de una experiencia de usuario más fluida. Los científicos pueden personalizar los informes en función del proyecto en el que trabajan y no necesitan pedir a un colega que les cree tablas o gráficos, lo que en última instancia acelerará la innovación y la toma de decisiones. También cuentan con una funcionalidad de búsqueda avanzada y fácil de usar para encontrar conjuntos de datos completos de forma rápida y sencilla.

Por su parte, los desarrolladores tienen una mejor visibilidad de todo el entorno desde el tablero de MongoDB Atlas y pueden dedicar más tiempo a personalizar el sistema y menos al mantenimiento rutinario, lo que acelerará la llegada al mercado. Las previsiones indican que esta reducción en el tiempo de desarrollo proporcionará un ahorro de costos, así como una mayor eficiencia.

“Desde que migramos a MongoDB Atlas, hemos reducido significativamente el tiempo de desarrollo gracias a las funcionalidades de gestión optimizadas y al tablero intuitivo de la plataforma”, afirma Severino. “Eso se ha traducido en un ahorro de costos significativo para nuestra organización”.

Al aprovechar las funcionalidades de gestión automatizadas, los desarrolladores también pueden dedicar considerablemente menos tiempo al mantenimiento de rutina, tales como copias de seguridad, escalado y actualizaciones. Esto los libera para concentrarse en tareas más valiosas, como personalizar el sistema e implementar nuevas funcionalidades, mejorando la productividad y la eficiencia generales del equipo.

“Nos propusimos implementar MongoDB para la unidad de subsuelo y recursos naturales, pero ya hemos llamado la atención de nuestros colegas en toda la empresa. Si seguimos obteniendo buenos resultados, recomendaremos una implementación más amplia en toda la empresa”, concluye Severino.

Mientras Eni lidera la transición hacia un futuro más verde, MongoDB Atlas facilitará y agilizará la recopilación de enormes volúmenes de datos no estructurados en su plataforma inteligente y los hará procesables. Para los científicos que llevan a cabo investigaciones vitales, esta experiencia sin fricciones les permitirá centrarse en el trabajo que más importa.

A la empresa también le entusiasma explorar cómo la IA generativa acelerará los proyectos de subsuelo en el futuro. “La IA generativa que hemos presentado crea actualmente incrustaciones vectoriales a partir de documentos, por lo que cuando un usuario hace una pregunta, recupera el documento más relevante y utiliza LLM para compilar la respuesta”, explica Severino.

“Estamos considerando migrar incrustaciones vectoriales a MongoDB Atlas para crear un sistema funcional y totalmente integrado. Luego podremos usar Atlas Vector Search para crear experiencias impulsadas por IA sin tener que salir de la plataforma Atlas; una experiencia mucho mejor para los desarrolladores”.