A Eni transforma terabytes de dados não estruturados do subsolo em informações acionáveis com o MongoDB Atlas

INTRODUÇÃO

Uma das principais empresas de energia em transição para o Net Zero

Sediada na Itália, a Eni é uma empresa de energia integrada líder, com mais de 30 mil funcionários em 69 países. Suas operações variam da exploração e perfuração de gás natural e petróleo à cogeração de eletricidade, energias renováveis, biorrefino e produção química.

Em 2020, a Eni lançou uma estratégia para alcançar Net Zero até 2050 e desenvolver produtos mais sustentáveis do ponto de vista ambiental e financeiro. As décadas de pesquisa e inovação tecnológica da empresa serão fundamentais para atingir esse objetivo.

"Trabalho na equipe de computação técnica para geociências e operações de subsuperfície, em conjunto com os departamentos de geologia, geociências e geofísica", explica Sabato Severino, Arquiteto Sênior de Soluções de IA para Geociências da Eni. "Somos responsáveis por identificar as melhores soluções disponíveis para nossa infraestrutura em nuvem e adaptá-las às necessidades específicas do negócio."

Os projetos incluem o uso de IA em perfuração e exploração, o aproveitamento de APIs de nuvem para acelerar a inovação e o desenvolvimento de uma plataforma inteligente para promover o compartilhamento de conhecimento na maior divisão de negócios da empresa: recursos naturais.

A plataforma de gerenciamento de documentos para geociências da Eni oferece um ecossistema de serviços e aplicações para criar e compartilhar conteúdo. Ela utiliza modelos de IA incorporados para extrair informações de documentos e armazena dados não estruturados em um banco de dados NoSQL. Esses dados estão intimamente conectados aos dados estruturados gerenciados por uma plataforma de dados proprietária. Esses dados são visualizados em aplicações personalizadas por gestores de conteúdo, analistas de dados e especialistas, como geólogos, engenheiros e equipes de perfuração, para obter insights mais aprofundados.

"Nossa plataforma precisa ser segura, precisa e eficiente. A precisão é fundamental para os cientistas que atuam nesse setor", explica Severino. "Quando usados corretamente, esses dados nos ajudam a trabalhar de forma mais rápida e inteligente, reduzem custos por meio da otimização e dão suporte às decisões do negócio."

O DESAFIO

Disponibilizando dados abrangentes para a pesquisa científica

A plataforma de documentos da Eni ingere e padroniza grandes volumes de dados não estruturados. Os documentos gerados em diferentes países estão em italiano, inglês e francês, e cada região utiliza unidades de medida diferentes. Os usuários carregam esses dados em dashboards para realizar consultas com base em critérios específicos, mas a falta de padronização tornava muito complexo criar conjuntos de dados abrangentes e executar consultas usando o banco de dados relacional original.

Os desafios da equipe de Severino eram manter a plataforma à medida que ela passava a ingerir um volume crescente de dados — centenas de milhares de documentos e terabytes de dados — e permitir que diferentes grupos de usuários extraíssem insights relevantes de registros abrangentes de forma rápida e fácil.

"À medida que desenvolvíamos nossa plataforma, percebemos que estávamos gastando tempo demais gerenciando vários sistemas. Precisávamos acelerar o time to market, garantindo ao mesmo tempo que, no futuro, a plataforma pudesse oferecer suporte a um ambiente global e multinuvem — algo que nosso banco de dados anterior não era capaz de fazer", afirma Severino.

Do ponto de vista técnico, a empresa precisava criar uma plataforma gerenciada e escalável de dados documentais que permitisse organizar, recuperar e utilizar os dados extraídos e enriquecidos a partir dos documentos processados. Esse sistema precisava ser capaz de realizar pesquisas complexas por meio de uma interface semelhante à do Google e possibilitar o desenvolvimento de um conjunto de microsserviços de Processamento de Linguagem Natural (NLP) e IA generativa para dar suporte ao ecossistema. A plataforma de dados documentais serviria como infraestrutura de suporte para armazenar e manipular textos, tabelas, imagens e metadados obtidos durante os processos de extração e enriquecimento de conteúdo.

A SOLUÇÃO

Migração para uma plataforma gerenciada de dados documentais independente de nuvem

A Eni contou com o apoio da MongoDB Consulting para treinamento e suporte à migração das cargas de trabalho para o MongoDB Atlas. "O MongoDB é muito mais econômico do que a nossa solução anterior, que tinha um modelo de precificação complexo e dificultava a otimização dos custos para cargas de trabalho imprevisíveis", afirma Severino.

A empresa queria migrar para um serviço gerenciado que oferecesse uma experiência de usuário fluida e uma interface fácil de usar para os desenvolvedores. Muitos colaboradores já estavam familiarizados com o MongoDB, o que simplificou a transição e garantiu eficiência contínua. Além disso, o fato de o Atlas ser independente de nuvem oferece a flexibilidade de que a Eni precisava para evitar a dependência de um único fornecedor e manter recursos multinuvem. Isso está alinhado à estratégia de longo prazo da empresa e garante que ela possa se adaptar à evolução das necessidades do negócio.

"O MongoDB Atlas não é apenas um banco de dados; é um conjunto completo de produtos e serviços. É independente de nuvem e combina uma ampla gama de funcionalidades com a flexibilidade de que precisávamos para adaptá-lo às nossas necessidades", explica Severino. "O suporte que recebemos da MongoDB Consulting foi excelente. Ele foi adaptado aos nossos desafios específicos, e esperamos fortalecer essa parceria no futuro."

A Eni criou um ambiente de testes no MongoDB Atlas e, com suporte a diversas linguagens de programação, dados JSON e APIs REST — que permitem acessar dados por meio de solicitações HTTPS —, consegue atender aos rigorosos requisitos do setor em termos de segurança e conformidade de dados.

Com o MongoDB Atlas, os usuários da Eni podem encontrar rapidamente dados que abrangem vários anos e regiões geográficas para identificar tendências e analisar modelos que apoiam a tomada de decisões em sua área. O MongoDB Atlas Search também ajuda a filtrar documentos irrelevantes. A primeira equipe a colocar isso em prática foi um grupo de funcionários com experiência em tecnologia do departamento de exploração, que foi integrado com o objetivo de inspirar outras equipes da Eni a usar a plataforma. A equipe também integrou modelos de IA e de aprendizado de máquina, como a pesquisa vetorial, à plataforma para facilitar ainda mais a identificação de padrões.

“Anteriormente, dados isolados significavam que corríamos o risco de que os relatórios não fossem completamente precisos. Ao operar entre geografias e procurar pequenas variações e mudanças na paisagem geofísica, é realmente importante que os modelos sejam baseados em dados abrangentes e não apenas nos dados coletados por uma pesquisa básica”, explica Severino.

Outro processo anteriormente complexo incluía o desenvolvimento de dashboards para aplicativos e análise de dados. Eni contava com uma mistura de ferramentas de código aberto e comerciais, escrevendo códigos para definir componentes, layouts e interações, e dominando linguagens de script e recursos de gerenciamento de dados. Isso criou uma curva de aprendizado considerável para os desenvolvedores. Com a introdução do Atlas Charts, uma solução sem código para criar dashboards interativos atraentes, junto com outras soluções como o Power BI, o ponto problemático foi significativamente atenuado.

“O Atlas Charts é realmente útil para visualizar dados não estruturados. Costumávamos extraí-los manualmente para arquivos Excel ou CSV, que são difíceis de ler a olho nu”, comenta Severino. “Agora os usuários podem se conectar facilmente a fontes de dados, criar gráficos e construir dashboards com esforço mínimo, mesmo que não sejam desenvolvedores.”

E, como um recurso nativo do MongoDB Atlas, ele permite atualizações em tempo real nos painéis e torna o trabalho com dados muito mais fácil e acessível.

OS RESULTADOS

Desempenho superior e funcionalidades de pesquisa mais inteligentes

O feedback inicial sobre o ambiente de teste foi positivo. Os usuários estão impressionados com o desempenho da plataforma e Severino espera que ela seja ainda mais fácil de gerenciar quando o MongoDB Atlas for integrado ao ecossistema mais amplo da Eni.

Ao criar sua plataforma interna com o MongoDB, tanto os desenvolvedores quanto os cientistas que acessam relatórios na Eni estão tendo uma experiência do usuário mais tranquila. Os cientistas podem personalizar os relatórios com base no projeto específico em que estão trabalhando e não precisam pedir a um colega para criar gráficos ou ilustrações para eles, o que acabará acelerando a inovação e a tomada de decisões. Eles também têm um recurso de pesquisa avançado e fácil de usar para localizar conjuntos de dados abrangentes com rapidez e facilidade.

Os desenvolvedores, por sua vez, têm melhor visibilidade de todo o ambiente no dashboard do MongoDB Atlas e podem gastar mais tempo personalizando o sistema e menos tempo na manutenção de rotina, o que acelerará o tempo de comercialização. As previsões indicam que essa redução no tempo de desenvolvimento gerará economia de custos e maior eficiência.

“Desde a migração para o MongoDB Atlas, reduzimos significativamente o tempo de DESENVOLVIMENTO graças aos recursos de gerenciamento simplificados e ao dashboard intuitivo da plataforma”, diz Severino. “Isso se traduziu em uma economia de custo significativa para nossa organização”.

Ao aproveitar os recursos de gerenciamento automatizados, os desenvolvedores também podem gastar consideravelmente menos tempo na manutenção de rotina, como backups, dimensionamento e atualizações. Isso os libera para se concentrar em tarefas mais valiosas, como personalizar o sistema e implementar novos recursos, melhorando a produtividade e a eficiência geral da equipe.

“Decidimos implementar o MongoDB para a unidade de subsuperfície e recursos naturais, mas já chamamos a atenção de nossos colegas em toda a empresa. Se continuarmos obtendo bons resultados, recomendaremos com alegria uma implementação mais ampla em toda a empresa”, conclui Severino.

Como a Eni lidera a transição para um futuro mais verde, o MongoDB Atlas tornará mais fácil e rápido coletar enormes volumes de dados não estruturados em sua plataforma inteligente e torná-los acionáveis. Para os cientistas que realizam pesquisas vitais, essa experiência sem atrito permitirá que eles foquem no trabalho que é mais importante.

A empresa também está entusiasmada em explorar como a IA generativa acelerará projetos de subsuperfície no futuro. “A IA generativa que introduzimos atualmente cria embeddings vetoriais a partir de documentos, portanto, quando um usuário faz uma pergunta, ela recupera o documento mais relevante e usa LLMs para criar a resposta”, explica Severino.

“Estamos analisando a migração de embeddings vetoriais para o MongoDB Atlas para criar um sistema funcional e totalmente integrado. Em seguida, poderemos usar o Atlas Vector Search para criar experiências baseadas em IA sem sair da plataforma Atlas – uma experiência muito melhor para os desenvolvedores.”