A Nationwide mantém-se 'Focada, em Forma e Rápida' ao migrar dados do SQL para o MongoDB

INTRODUÇÃO

A maior sociedade de construção do mundo inicia sua jornada de migração

Independentemente de onde você escolha fazer suas transações bancárias, o nome Nationwide Building Society é familiar em todo o Reino Unido. Não apenas é a maior "Building Society" do mundo, como também já existe há muito tempo; fundada em 1884, ela agora tem mais de 16 milhões de clientes e detém quase 10% das poupanças das famílias do Reino Unido. O status mútuo da Nationwide – é de propriedade e executada para seus membros, não para acionistas – sustenta os impulsionadores estratégicos da sociedade de construção: relacionamentos recompensadores, excelente atendimento ao cliente e melhoria contínua. Como parte de sua equipe de risco de crédito, a engenheira líder Neha Yadav está no centro da Nationwide, classificando a pontuação de risco de cada produto de empréstimo que passa pela sociedade de crédito, na qual os empréstimos são aceitos, preferidos ou rejeitados. Sempre buscamos a tecnologia mais recente e sempre nos concentramos em atuar de acordo com a melhor qualidade de dados", diz Yadav. "Somos uma equipe altamente capacitada, focada e ágil — porque tudo o que fazemos deve beneficiar nossos membros

O DESAFIO

Mitigação do risco de fim da vida útil do serviço

É essa determinação de estar 'em forma, focada e rápida' que levou a Nationwide a decidir mudar-se de sua plataforma anterior, totalmente no local. “Para que pudéssemos adicionar proteções e garantir benefícios mútuos aos clientes, a ideia era eliminar todos os servidores legados, migrar tudo para a nuvem e implementar um banco de dados NoSQL”, diz Yadav, “assim, oferecendo um serviço ideal para a sociedade e seus membros.”

O pensamento original da equipe era aproveitar algumas das funcionalidades de nuvem da AWS e usar o MongoDB como parte de um armazenar dados de auditar, apenas – "essa era a ideia inicial", diz Yadav, que na época liderava a equipe no local de cerca de 12 pessoas. O banco de dados de descobertos da Nationwide estava no local — seus serviços eram utilizados por diferentes áreas dentro da sociedade de construção, e estava chegando ao fim de sua vida útil. Em sua jornada para se afastar completamente do armazenamento de dados no local, a equipe decidiu que o banco de dados de overdraft seria um bom ponto de partida.

Em abril de 2023, ao começar a analisar as mudanças necessárias, a equipe consultou o MongoDB, com quem já tinha um relacionamento estabelecido, sobre como poderia ajudar no processo. Os desafios de mitigar o risco de fim de vida útil significavam que um critério fundamental para a Nationwide era mover os dados com o mínimo de intervenção humana ou esforço de desenvolvimento. "Então, não tivemos muito tempo para nos concentrar no aspecto da migração de dados”, diz Yadav. “Foi quando o MongoDB propôs a versão Preview do Relational Migrator.”

Seria a primeira vez que o produto seria usado no Reino Unido.

A SOLUÇÃO

Migrar dados rapidamente, com segurança e validação.

Usando o MongoDB Relational Migrator , banco de dados “Queríamos manter a integridade do ambiente e reduzir o risco de algo ser perdido ou não verificado com uma migração contínua de dados”, explica ela Portanto, optamos por uma migração de snapshot.

Ainda assim, é justo afirmar que havia certa apreensão na equipe em relação ao processo, dada a natureza complexa das migrações em geral e a incerteza sobre como os dados migrados seriam validados ou funcionariam no final. A equipe conseguiu executar migrações de teste para ajudar a validar o processo de produção; criando um ambiente de teste semelhante que receberia várias solicitações — então interrompendo-as para ver como se comportaria. Assim, tínhamos quase certeza de que funcionaria", diz Yadav. "E para garantir a segurança, fomos ao escritório para a migração em produção

O projeto completo de migração, da API no local para a cloud, levou cerca de seis meses. A equipe implantou microsserviços em seu cluster da AWS, então ter vários feeds ETL no local significava que eles também precisavam ser movidos, incluindo o tempo de desenvolvimento para Lambdas.

Não foi apenas a migração de dados", diz Yadav, "foi a migração do feed, da API e dos dados

Ela acrescenta: "Envolvia muitas provas de conceito e recursos compartilhados." Se eu eliminasse todos os atrasos, teria levado três meses – foi muito rápido. Com o Relational Migrator, eu diria que economizamos 50% do nosso esforço.

Um recurso muito valorizado do Relational Migrator foi o Query Converter, uma ferramenta de IA para migrar as consultas SQL para pipelines de agregação do MongoDB. "Esse foi um recurso muito útil para revalidar tudo o que tínhamos entendido e saber que tudo o que tínhamos escrito estava correto", diz Yadav

OS RESULTADOS

Confiança para mover dados do no local para a cloud sem nenhum esforço de desenvolvimento

"O Relational Migrator nos deu a confiança de que não precisávamos fazer nenhum desenvolvimento ou validação de dados manualmente para mover nossos dados de on-premises para a cloud", resume Yadav E tão positiva foi a experiência de migrar o banco de dados de descoberto do SQL para o MongoDB Atlas para a equipe que agora estão no processo de mover outros bancos de dados para a nuvem. “O Relational Migrator é muito simples de usar”, explica Yadav Qualquer pessoa com conhecimento básico pode usá-lo. "Essa é a melhor parte disso.”

E foi uma mudança que valeu a pena. No SQL, demorava pelo menos uma hora para gerar um de nossos feeds", diz Yadav, "tendo migrado para o MongoDB, o tempo máximo é de dois minutos Embora a equipe tenha migrado dados com sucesso para o MongoDB, otimizado consultas e melhorado o desempenho geral, de longe a maior vitória é que eles mitigaram o risco do fim da vida útil do serviço. "E tomamos uma decisão muito atrasada de mover o banco de dados de descobertos completamente para a cloud, que era nosso horizonte três, mas movemos para o horizonte dois. "Assim, minha maior conquista é entregá-lo com sucesso.”

Há um outro ponto de orgulho, porém: “Antes disso, o Relational Migrator não tinha sido usado na Nationwide”, diz Yadav. “Havia um grande risco envolvido, porque se não tivesse funcionado do jeito que eu queria, havia muito em jogo – estou orgulhoso de que a equipe de TI da Nationwide tenha feito funcionar, e de que esta seja a primeira vez.”

"A modernização bem-sucedida de um backend de aplicativo em apenas 6 meses é particularmente impressionante no mundo financeiro, onde grandes upgrades de infraestrutura frequentemente levam vários anos para serem concluídas”, ela acrescenta. "Essa nova agilidade ajudará a Nationwide a manter sua liderança de mercado em um ambiente bancário cada vez mais centrado em tecnologia"