Diana Annie Jenosh

11 results

Smarter Care: MongoDB & Microsoft

Healthcare is on the cusp of a revolution powered by data and AI. Microsoft, with innovations like Azure OpenAI, Microsoft Fabric, and Power BI, has become a leading force in this transformation. MongoDB Atlas complements these advancements with a flexible and scalable platform for unifying operational, metadata, and AI data, enabling seamless integration into healthcare workflows. By combining these technologies, healthcare providers can enhance diagnostics, streamline operations, and deliver exceptional patient care. In this blog post, we explore how MongoDB and Microsoft AI technologies converge to create cutting-edge healthcare solutions through our “Leafy Hospital” demo—a showcase of possibilities in breast cancer diagnosis. The healthcare data challenge The healthcare industry faces unique challenges in managing and utilizing massive datasets. From mammograms and biopsy images to patient histories and medical literature, making sense of this data is often time-intensive and error-prone. Radiologists, for instance, must analyze vast amounts of information to deliver accurate diagnoses, while ensuring sensitive patient data is handled securely. MongoDB Atlas addresses these challenges by providing a unified view of disparate data sources, offering scalability, flexibility, and advanced features like Search and Vector search. When paired with Microsoft AI technologies, the potential to revolutionize healthcare workflows becomes limitless. The leafy hospital solution: A unified ecosystem Our example integrated solution, Leafy Hospital, showcases the transformative potential of MongoDB Atlas and Microsoft AI capabilities in healthcare. Focused on breast cancer diagnostics, this demo explores how the integration of MongoDB’s flexible data platform with Microsoft’s cutting-edge features—such as Azure OpenAI, Microsoft Fabric, and Power BI—can revolutionize patient care and streamline healthcare workflows. The solution takes a three-pronged approach to improve breast cancer diagnosis and patient care: Predictive AI for early detection Generative AI for workflow automation Advanced BI and analytics for actionable insights Figure 1. Leafy hospital solution architecture If you’re interested in discovering how this solution could be applied to your organization’s unique needs, we invite you to connect with your MongoDB account representative. We’d be delighted to provide a personalized demonstration of the Leafy Hospital solution and collaborate on tailoring it for your specific use case. Key capabilities Predictive AI for early detection Accurate diagnosis is critical in breast cancer care. Traditional methods rely heavily on radiologists manually analyzing mammograms and biopsies, increasing the risk of errors. Predictive AI transforms this process by automating data analysis and improving accuracy. BI-RADS prediction BI-RADS (Breast Imaging-Reporting and Data System) is a standardized classification for mammogram findings, ranging from 0 (incomplete) to 6 (malignant). To predict BI-RADS scores, deep learning models like VGG16 and EfficientNetV2L are trained on mammogram images dataset. Fabric Data Science simplifies the training and experimentation process by enabling: Direct data uploads to OneLake for model training Easy comparison of multiple ML experiments and metrics Auto-logging of parameters with MLflow for lifecycle management These models are trained on a significant number of epochs until a reliable accuracy is achieved, offering reliable predictions for radiologists. Biopsy classification In the case of biopsy analysis, classification models such as the random forest classifier are trained on biopsy features like cell size, shape uniformity, and mitoses counts. Classification models attain high accuracy when trained on scalar data, making it highly effective for classifying cancers as malignant or benign. Data ingestion, training, and prediction cycles are well managed using Fabric Data Science and the MongoDB Spark Connector , ensuring a seamless flow of metadata and results between Azure and MongoDB Atlas. Generative AI for workflow automation Radiologists often spend hours documenting findings, which could be better spent analyzing cases. Generative AI streamlines this process by automating report generation and enabling intelligent chatbot interactions. Vector search: The foundation of semantic understanding At the heart of these innovations lies MongoDB Atlas Vector Search , which revolutionizes how medical data is stored, accessed, and analyzed. By leveraging Azure OpenAI’s embedding models, clinical notes and other unstructured data are transformed into vector embeddings—mathematical representations that capture the meaning of the text in a high-dimensional space. Similarity search is a key use case, enabling radiologists to query the system with natural language prompts like “Show me cases where additional tests were recommended.” The system interprets the intent behind the question, retrieves relevant documents, and delivers precise, context-aware results. This ensures that radiologists can quickly access information without sifting through irrelevant data. Beyond similarity search, vector search facilitates the development of RAG architectures , which combine semantic understanding with external contextual data. This architecture allows for the creation of advanced features like automated report generation and intelligent chatbots, which further streamline decision-making and enhance productivity. Automated report generation Once a mammogram or biopsy is analyzed, Azure OpenAI’sLarge Language models can be used to generate detailed clinical notes, including: Findings: Key observations from the analysis Conclusions: Diagnoses and suggested next steps Standardized codes: Using SNOMED terms for consistency This automation enhances productivity by allowing radiologists to focus on verification rather than manual documentation. Chatbots with retrieval-augmented generation Chatbots can be another approach to support radiologists, when they need quick access to historical patient data or medical research. Traditional methods can be inefficient, particularly when dealing with older records or specialized cases. Our retrieval-augmented generation-based chatbot, powered by Azure OpenAI, Semantic Kernel, and MongoDB Atlas, provides: Patient-specific insights: Querying MongoDB for 10 years of patient history, summarized and provided as context to the chatbot Medical literature searches: Using vector search to retrieve relevant documents from indexed journals and studies Secure responses: Ensuring all answers are grounded in validated patient data and research The chatbot improves decision-making and enhances the user experience by delivering accurate, context-aware responses in real-time. Advanced BI and analytics for actionable insights In healthcare, data is only as valuable as the insights it provides. MongoDB Atlas bridges real-time transactional analytics and long-term data analysis, empowering healthcare providers with tools for informed decision-making at every stage. Transactional analytics Transactional, or in-app, analytics deliver insights directly within applications. For example, MongoDB Atlas enables radiologists to instantly access historical BI-RADS scores and correlate them with new findings, streamlining the diagnostic process. This ensures decisions are based on accurate, real-time data. Advanced clinical decision support (CDS) systems benefit from integrating predictive analytics into workflows. For instance, biopsy results stored in MongoDB are enriched with machine learning predictions generated in Microsoft Fabric , helping radiologists make faster, more precise decisions. Long-term analytics While transactional analytics focus on operational efficiency, long-term analytics enable healthcare providers to step back and evaluate broader trends. MongoDB Atlas, integrated with Microsoft Power BI and Fabric, facilitates this critical analysis of historical data. For instance, patient cohort studies become more insightful when powered by a unified dataset that combines MongoDB Atlas’ operational data with historical trends stored in Microsoft OneLake. Long-term analytics also shine in operational efficiency assessments. By integrating MongoDB Atlas data with Power BI, hospitals can create dashboards that track key performance indicators such as average time to diagnosis, wait times for imaging, and treatment start times. These insights help identify bottlenecks, streamline processes, and ultimately improve the patient experience. Furthermore, historical data stored in OneLake can be combined with MongoDB’s real-time data to train machine learning models, enhancing future predictive analytics. OLTP vs OLAP This unified approach is exemplified by the distinction between OLTP and OLAP workloads. On the OLTP side, MongoDB Atlas handles real-time data processing, supporting immediate tasks like alerting radiologists to anomalies. On the OLAP side, data stored in Microsoft OneLake supports long-term analysis, enabling hospitals to identify trends, evaluate efficiency, and train advanced AI models. This dual capability allows healthcare providers to “run the business” through operational insights and “analyze the business” by uncovering long-term patterns. Figure 2. Real-time analytics data pipeline MongoDB’s Atlas SQL Connector plays a crucial role in bridging these two worlds. By converting MongoDB’s flexible document model into a relational format, it allows tools like Power BI to work seamlessly with MongoDB data. Next steps For a detailed, technical exploration of the architecture, including ML notebooks, chatbot implementation code, and dataset resources, visit our Solution Library Building Advanced Healthcare Solutions with MongoDB and Microsoft . Whether you’re a developer, data scientist, or healthcare professional, you’ll find valuable insights to replicate and expand upon this solution! To learn more about how MongoDB can power healthcare solutions, visit our solutions page . Check out our Atlas Vector Search Quick Start guide to get started with MongoDB Atlas Vector Search today.

February 18, 2025

使用 MongoDB 剖析开放银行：技术挑战和解决方案

感谢 Ainhoa Múgica 对本文的贡献。开放银行（或开放金融）在银行业掀起了一股颠覆性浪潮，它迫使金融机构（银行、保险公司、金融科技公司、企业甚至政府机构）迎接一个透明、协作和创新的新时代。这种模式转变要求银行与第三方提供商（TPP）公开共享客户数据，通过结合“同类最佳”的产品和服务，提升客户体验，促进创新金融技术解决方案的发展。截至 2020 年，全球有 2470 万人使用开放银行服务，预计到 2024 年这一数字将达到 1.322 亿。这种上升趋势推动了竞争，刺激了创新，并促进了传统银行与灵活的金融科技公司之间的合作。在这一变革格局中，MongoDB 作为领先的开发者数据平台，通过提供安全、可扩展且灵活的基础架构来管理和保护共享的客户数据，在支持开放银行业务方面发挥着至关重要的角色。通过利用 MongoDB 技术的力量，金融机构可以降低成本，改善客户体验，并通过严格的监管合规性来降低与广泛共享客户数据相关的潜在风险。图 1：开放银行架构示例开放银行/金融的本质是利用通用数据交换协议与第三方共享金融数据和服务。在本博客中，我们将从数据和数据服务的角度深入探讨开放银行的技术挑战和解决方案，并探讨 MongoDB 如何帮助金融机构克服这些障碍并释放这个开放生态系统的全部潜力。动态环境和标准随着开放银行标准的不断发展，金融机构必须保持适应性，以满足不断变化的法规和行业需求。传统的 relational database 往往难以跟上开放银行业务的动态要求，原因在于其僵化的模式难以随着时间的推移而改变和管理。在没有标准化开放银行框架的国家，银行和第三方提供商面临着开发多个版本的 API 来与不同机构集成的挑战，这会造成复杂性并阻碍互操作性。幸运的是，开放银行标准或指南（如欧洲、新加坡、印度尼西亚、香港、澳大利亚等）都普遍要求或建议开放 API 为 RESTful，并支持 JSON 数据格式，这为通用数据交换奠定了基础。 MongoDB 通过提供灵活的开发者数据平台来应对这些挑战，该平台本身支持 JSON 数据格式、简化数据建模并为开发者提供灵活的模式更改。借助 MongoDB Data API 等功能，开发者可以通过低代码方式轻松公开数据，从而减少开发和维护工作。稳定的 API 功能可确保数据库升级期间的兼容性，防止代码破坏并提供无缝过渡。此外，MongoDB 还提供提高生产力的功能，例如全文搜索、数据可视化、数据联合、移动数据库同步和其他应用服务，使开发者能够加快产品上市时间。借助 MongoDB 的功能，金融机构和第三方提供商可以更有效地驾驭不断变化的开放银行格局、促进协作并为客户提供创新解决方案。 Natwest 就是一个利用 MongoDB 的原生 JSON 数据管理和灵活性的客户示例。Natwest 是英国一家主要的零售和商业银行，总部位于英国伦敦。随着开放银行业务的增长，该银行在几年内每月的 API 调用次数从零增加到 9 亿次，预计未来几年还将增长 10 倍。在 2022 年 11 月 15 日的 MongoDB 活动中，Natwest 的“API 银行”技术（一个将零售银行服务带给合作伙伴的 API 生态系统）负责人 Jonathan Haggarty 在题为“使用 API 数据驱动客户价值”的演讲中分享了 Natwest不断发展的 API 生态系统使其能够“将大量 JSON 数据推送到 MongoDB 中，[这使得]“从简单的信息到相当复杂的信息都很容易”，并且还可以更轻松地通过数据屏蔽来混淆用户详细信息以保护客户隐私。Natwest 能够通过其 API 生态系统为合作伙伴提供客户数据洞察，例如“客户在电子商务领域的位置”、“[零售商]推出折扣的最佳时间”以及“最有价值客户”的洞察– 使用数据来解决问题；分析和洞察力；和报告。性能在开放银行的动态格局中，满足对性能、可扩展性和可用性的不可预测的需求至关重要。应用程序的效率和整体客户体验在很大程度上依赖于 API 的响应能力。然而，如果第三方供应商的业务和技术要求不公开，建立开放银行平台就会变得错综复杂。如果不仔细管理，可能会导致不可预见的性能问题并增加成本。开放银行要求 API 在各种工作负载下都具有高性能。 OBIE 建议所有付款邀请（文件付款除外）和帐户信息 API 的每个端点响应的平均 TTLB（到最后一个字节的时间）为 750 毫秒。遵守某些司法管辖区的监管服务级别协议（SLA）进一步增加了复杂性。传统架构和数据库通常很难满足这些苛刻的标准，需要进行大量更改才能确保可扩展性和最佳性能。这就是 MongoDB 发挥作用的地方。MongoDB 专为通过其 WiredTiger 存储引擎及其压缩功能提供卓越的性能而构建。此外， MongoDB Atlas 根据其智能索引和架构建议、自动数据分层以及用于分析的工作负载隔离来提高性能。著名的金融服务应用程序提供商 Temenos 通过利用 MongoDB Atlas 实现了卓越的交易量处理性能和效率，证明了其能力。他们最近使用 MongoDB Atlas 和 Microsoft Azure 运行了基准测试，并以破纪录的每秒 150,000 笔交易成功处理了惊人的 2 亿笔嵌入式金融贷款和 1 亿个零售账户。这展示了 MongoDB 的强大功能和可扩展性以及无与伦比的性能，使金融机构能够有效应对开放银行带来的挑战。MongoDB 确保出色的性能、可扩展性和可用性，以满足行业不断变化的需求。可扩展性构建一个为 TPP 提供服务的平台（TPP 可能不会披露其业务用途和技术/性能要求），如果托管不周，可能会带来不可预测的性能和成本问题。例如，新加坡的一家银行面临一个问题，他们的开放 API 每周三都会遇到峰值负载和崩溃。经过调查，他们发现其中一个 TPP 每周三都会开展促销活动，导致 API 调用激增，导致该银行的基础设施不堪重负。除了满足特定已知交易量的性能要求之外，能够在不可预测的工作负载下执行的可扩展解决方案也至关重要。 MongoDB 灵活的架构和可扩展性功能有效解决了这些问题。凭借其基于分布式文档的数据模型，MongoDB 允许垂直和水平无缝扩展。通过利用分片，数据可以分布在多个节点上，确保资源的高效利用，并使系统能够在不影响性能的情况下处理大量交易。MongoDB 的自动分片功能可随着工作负载的增长进行动态扩展，为金融机构提供适应不断变化的需求的灵活性，并确保平稳且可扩展的开放银行基础设施。可用性在开放银行领域，可用性成为一项关键挑战。随着第三方提供商 (TPP) 对银行服务的依赖程度越来越高，确保持续可用性变得更加复杂。以前，银行可以在非高峰时段关闭某些服务以进行维护。然而，由于 TPP 提供 24x7 全天候体验，任何停机时间都是不可接受的。这给银行带来了更大的压力，要求他们保持 Open API 服务的持续可用性，即使在计划的维护窗口或不可预见的事件期间也是如此。 MongoDB Atlas 是完全托管的全球云数据库服务，可有效解决这些可用性挑战。MongoDB Atlas 凭借其多节点集群和多云 DBaaS 功能，可确保高可用性和容错能力。它提供了在多个领先云提供商上运行的灵活性，使银行能够最大限度降低集中风险，并通过跨不同云平台的分布式集群实现更高的可用性。MongoDB Atlas 提供的强大复制和故障转移机制可保证服务不间断，并使金融机构能够为其客户和 TPP 提供可靠且始终可用的开放银行 API。安全和隐私数据安全和同意管理是参与开放银行业务的银行最关心的问题。将身份验证和授权机制暴露给第三方提供商会引发安全问题，并带来数据保护方面的复杂技术问题。银行需要精细的访问控制和加密机制来保护共享数据，包括细粒度地管理数据共享同意。此外，银行必须了解《通用数据保护条例》(GDPR) 等数据隐私法规的情况，这些法律提出了与传统银行法规不同的严格要求。 MongoDB 提供一系列解决方案，可有效解决这些安全和隐私挑战。 Queryable Encryption 提供了一种在 MongoDB 中管理加密数据的机制，从而确保即使与第三方提供商共享敏感信息也能保持安全。MongoDB 的全面加密功能涵盖静态数据和传输中数据，在数据的整个生命周期中保护数据。MongoDB 的灵活架构允许金融机构捕获管理数据共享同意的不同数据要求，并将来自不同国家的用户同意统一到单一数据存储中，从而简化对复杂数据隐私法规的遵守。此外，MongoDB 的地理分片功能可确保相关数据和同意信息保留在最近的云数据中心，同时为访问数据提供最佳响应时间，从而确保遵守数据驻留法规。为了进一步增强数据隐私，MongoDB 提供了字段级加密技术，支持字段级别的对称加密，以保护敏感数据（例如个人身份信息），即使是与 TPP 共享时也是如此。字段的随机加密增加了一层安全性，并可对加密数据进行查询操作。MongoDB 的 Queryable Encryption 技术进一步增强了安全性并防御密码分析，确保开放银行生态系统中的客户数据受到保护和保密。活动监控由于银行在开放银行生态系统中提供了大量 API，活动监控和故障排除已成为维护强大且安全的基础设施的关键方面。MongoDB 通过其监控工具和审核功能简化了活动监控。管理员和用户可以精细地跟踪系统活动、监控数据库系统和应用程序事件。 MongoDB Atlas 具有管理 API，可用于以编程方式管理 Atlas 服务。例如，可以使用 Atlas Administration API 来创建数据库部署、向这些部署添加用户、监控这些部署等。这些 API 可帮助实现 CI/CD 管道的自动化，并监控数据平台上的活动，使开发者和管理员能够从繁琐的工作中解放出来，专注于创造更多业务价值。性能监控工具（包括性能优化顾问）有助于衡量和优化系统性能，确保 API 提供卓越的用户体验。图 2：MongoDB Atlas 上的活动监控 MongoDB Atlas Charts 是 MongoDB Atlas 的一项集成功能，可提供分析和可视化功能。金融机构可使用 MongoDB Atlas Charts 创建商业智能仪表盘。这样就不需要与传统商业智能工具相关的昂贵许可，随着越来越多的 TPP 使用 API，成本效益也会随之提高。利用 MongoDB Atlas Charts，金融机构可以向 TPP 提供全面的业务遥测数据，例如保险报价单数量、保单交易、API 调用量和性能指标。这些见解使金融机构能够做出数据驱动的决策，提高运营效率，并优化开放银行生态系统中的客户体验。图 3：Atlas Charts 样本仪表盘实时性开放银行业务给金融机构带来了新的挑战，因为它们努力在 TPP 不可预测的工作负载中提供服务并扩大规模。虽然静态内容带来的难度较小，但需要实时更新或连续流的 API（例如动态账户余额或经 ESG 调整的信用评分）需要近乎实时的实时数据交付功能。为了使应用程序能够立即对发生的实时更改或更改做出反应，组织可以利用基于其聚合框架的 MongoDB Change Streams 对单个集合、数据库甚至整个部署中的数据更改做出反应。此功能进一步增强了 MongoDB 的实时数据和事件处理和分析能力。 MongoDB 提供了多种机制来支持数据流，包括用于事件驱动架构的 Kafka Connector 和用于使用 Spark 进行流处理的 Spark Connector 。这些解决方案使金融机构能够有效满足其开放银行合作伙伴的实时数据需求，实现无缝集成和实时数据交付，从而增强客户体验。结论 MongoDB 的技术能力使其成为金融机构踏上开放银行之旅的关键推动力。从管理动态环境和适应不可预测的工作负载，到确保可扩展性、可用性、安全性和隐私，MongoDB 提供了一套全面的工具和功能来有效应对开放银行业务的挑战。以 MongoDB 作为底层基础设施，金融机构可以自信地驾驭不断发展的开放银行格局，提供创新的解决方案，推动银行业的未来。拥抱 MongoDB 使金融机构能够释放开放银行的全部潜力，并在协作和数字化转型的时代提供卓越的客户体验。如果想要了解有关如何利用 MongoDB 构建开放银行基础设施的更多信息，请查看以下资源：开放银行小组讨论：利用 MongoDB、Celent、Icon Solutions 和 AWS 在数据和 API 标准不断变化的世界中让您的银行面向未来数据网格如何促进开放银行业务金融服务中心

June 6, 2023

MongoDB를 통한 오픈 뱅킹 분석: 기술적 과제와 솔루션

이 게시물에 도움을 주신 Ainhoa Múgica 님에게 감사드립니다. 은행 업계에 파괴적인 물결(disruptive wave)을 일으키고 있는 오픈 뱅킹(또는 오픈 파이낸스)은 그 이름에서 알 수 있듯이 은행, 보험사, 핀테크, 기업, 심지어 정부 기관까지 금융 기관이 투명성, 협업, 혁신의 새로운 시대를 받아들이도록 강요하고 있습니다. 이러한 패러다임의 변화는 은행이 고객 데이터를 타사 제공업체(TPP)와 공개적으로 공유하여 고객 경험을 개선하고 '동급 최고의' 상품과 서비스를 결합하여 혁신적인 핀테크 솔루션 개발을 촉진하도록 요구합니다. 2020년 현재 전 세계적으로 2,470 만 명이 오픈 뱅킹 서비스를 이용하고 있으며, 2024년에는 1억 3,220만 명에 달할 것으로 예상됩니다. 이러한 상승 추세는 경쟁과 혁신을 촉진하며 기존 은행과 민첩한 핀테크 기업 간의 파트너십을 조성합니다. 이러한 변화의 흐름 속에서 선도적인 개발자 데이터 플랫폼인 MongoDB는 공유 고객 데이터를 관리하고 보호하기 위한 안전하고 확장 가능하며 유연한 인프라를 제공함으로써 오픈 뱅킹을 지원하는 데 중요한 역할을 담당하고 있습니다. MongoDB의 기술 역량을 활용함으로써 금융 기관은 비용을 절감하고 고객 경험을 개선하며 엄격한 규제 준수를 통해 광범위한 고객 데이터 공유와 관련된 잠재적 위험을 완화할 수 있습니다. 그림 1: 오픈 뱅킹 아키텍처 예시 오픈 뱅킹/금융의 본질은 공통 데이터 교환 프로토콜을 활용하여 금융 데이터 및 서비스를 타사와 공유하는 것입니다. 이 블로그에서는 데이터 및 데이터 서비스 관점에서 오픈 뱅킹의 기술적 과제와 해결책을 살펴보고, MongoDB가 어떻게 금융 기관이 이러한 장애물을 극복하고 개방형 에코시스템의 잠재력을 최대한 활용할 수 있도록 지원하는지 살펴봅니다. 동적 환경 및 표준 오픈 뱅킹 표준이 계속 진화함에 따라 금융 기관은 변화하는 규정과 업계 요구 사항에 계속 대응해야 합니다. 기존의 relational database는 시간이 지나면서 변경 및 관리가 어려운 경직된 스키마로 인해 오픈 뱅킹의 동적 요구 사항을 충족시키는 데 어려움을 겪는 경우가 많습니다. 표준화된 오픈 뱅킹 프레임워크가 없는 국가에서는 은행과 타사 제공업체가 여러 기관과 통합하기 위해 여러 버전의 API를 개발해야 하므로 복잡성이 발생하고 상호 운용성이 저해되는 문제에 직면하게 됩니다. 다행히도 오픈 뱅킹 표준 또는 가이드라인(예: 유럽, 싱가포르, 인도네시아, 홍콩, 호주 등)에서는 일반적으로 오픈 API가 RESTful이어야 하고 JSON 데이터 형식을 지원하도록 요구하거나 권장하여 공통 데이터 교환을 위한 기반을 마련하고 있습니다. MongoDB는 기본적으로 JSON 데이터 형식을 지원하고 데이터 모델링을 간소화하며 개발자가 스키마를 유연하게 변경할 수 있는 유연한 개발자 데이터 플랫폼을 제공하여 이러한 문제를 해결합니다. MongoDB Data API 와 같은 기능을 통해 개발자는 로우 코드 방식으로 데이터를 쉽게 노출하여 개발 및 유지 관리 노력을 줄일 수 있습니다. 안정적인 API 기능은 데이터베이스 업그레이드 중에 호환성을 보장하여 코드 중단을 방지하고 원활한 전환을 제공합니다. 또한 MongoDB는 전체 텍스트 검색 , 데이터 시각화 , 데이터 페더레이션 , 모바일 데이터베이스 동기화 및 기타 앱 서비스 등 생산성 향상 기능을 제공하여 개발자가 시장 출시 시간을 단축할 수 있도록 지원합니다. MongoDB의 기능을 통해 금융 기관과 타사 제공업체는 변화하는 오픈 뱅킹 환경을 더 효과적으로 탐색하고 협업을 촉진하며 고객에게 혁신적인 솔루션을 제공할 수 있습니다. MongoDB의 기본 JSON 데이터 관리 및 유연성을 활용하는 클라이언트의 한 예로 Natwest가 있습니다. Natwest는 잉글랜드 런던에 본사를 둔 영국의 주요 소매 및 상업 은행입니다. 오픈 뱅킹 이용률이 증가함에 따라 은행의 월 API 호출 건수는 수년 만에 0건에서 9억 건 으로 증가했으며, 향후 몇 년 안에 10배 이상 증가할 것으로 예상됩니다. 2022년 11월 15일에 열린 MongoDB 행사에서 Natwest의 'Bank of API' 기술(소매 은행의 서비스를 파트너에게 제공하는 API 에코시스템) 책임자인 Jonathan Haggarty는 ' API 데이터를 사용한 고객 가치 창출' 이라는 제목의 프레젠테이션에서 Natwest의 성장하는 API 에코시스템을 통해 “많은 양의 JSON 데이터를 MongoDB에 푸쉬하여 간단한 정보에서 상당히 복잡한 정보로 쉽게 이동할 수 있고" 고객 개인정보 보호를 위해 데이터 마스킹을 통해 사용자 정보를 쉽게 난독화할 수 있다고 설명했습니다. Natwest는 API 에코시스템을 통해 파트너를 위한 고객 데이터 인사이트, 예를 들어 '고객이 이커머스 스펙트럼에서 어디에 있는지', '[소매업체가] 할인을 추진하기에 가장 좋은 시기', '가장 가치 있는 고객'에 대한 인사이트 등 문제 해결, 분석 및 인사이트, 보고에 데이터를 사용할 수 있도록 지원합니다. 성능 동적인 오픈 뱅킹 환경에서는 성능, 확장성, 가용성에 대한 예측할 수 없는 요구 사항을 충족하는 것이 매우 중요합니다. 애플리케이션의 효율성과 전반적인 고객 경험은 API의 응답성에 크게 좌우됩니다. 그러나 공개되지 않은 비즈니스 및 기술 요구 사항이 있는 타사 제공업체를 수용할 경우 오픈 뱅킹 플랫폼을 구축하는 것이 복잡해집니다. 주의 깊게 관리하지 않으면 예상치 못한 성능 문제와 비용 증가가 발생할 수 있습니다. 오픈 뱅킹은 모든 종류의 워크로드 볼륨에서 고성능의 API를 요구합니다. OBIE 는 모든 결제 초대(파일 결제 제외) 및 계정 정보 API에 대해 엔드포인트 응답당 평균 TTLB(마지막 바이트까지의 시간)를 750ms로 권장합니다. 특정 관할권의 규제 서비스 수준 계약(SLA)을 준수해야 하는 경우 복잡성이 더욱 가중됩니다. 레거시 아키텍처와 데이터베이스는 이러한 까다로운 기준을 충족하는 데 어려움을 겪는 경우가 많기 때문에 확장성과 최적의 성능을 보장하기 위해 광범위한 변경이 필요합니다. 바로 여기에 MongoDB가 등장합니다. MongoDB는 WiredTiger 스토리지 엔진과 압축 기능을 통해 탁월한 성능을 제공하도록 특별히 구축되었습니다. 또한 MongoDB Atlas 는 지능형 인덱스 및 스키마 제안, 자동 데이터 계층화, 분석을 위한 워크로드 격리를 통해 성능을 향상시킵니다. 널리 알려진 금융 서비스 애플리케이션 제공업체인 Temenos가 MongoDB Atlas를 활용하여 놀라운 트랜잭션 볼륨 처리 성능과 효율성을 달성한 것이 그 역량을 보여주는 대표적인 예입니다. 최근 MongoDB Atlas와 Microsoft Azure 로 벤치마크를 실행한 결과, 초당 15만 건이라는 기록적인 속도로 2억 건의 임베디드 금융 대출과 1억 건의 소매 계좌를 성공적으로 처리했습니다 . 이는 금융 기관이 오픈 뱅킹으로 인한 과제를 효과적으로 해결할 수 있도록 지원하는 탁월한 성능을 갖춘 MongoDB의 강력한 성능과 확장성을 보여줍니다. MongoDB는 끊임없이 변화하는 업계 요구 사항을 충족하는 뛰어난 성능, 확장성 및 가용성을 보장합니다. 확장성 비즈니스 사용량과 기술/성능 요구 사항을 공개하지 않을 수 있는 TPP에 서비스를 제공하기 위한 플랫폼을 구축하는 경우, 신중하게 관리하지 않으면 예측할 수 없는 성능 및 비용 문제가 발생할 수 있습니다. 예를 들어 싱가포르의 한 은행은 매주 수요일 Open API가 최대 부하와 충돌이 발생하는 문제에 직면했습니다. 조사 결과, TPP 중 한 곳이 매주 수요일에 프로모션 캠페인을 실시하여 은행의 인프라를 압도하는 API 호출이 발생한 것으로 나타났습니다. 알려진 특정 트랙잭션 볼륨의 성능 요구 사항을 충족하는 것 외에도 예측할 수 없는 워크로드에서도 성능을 발휘할 수 있는 확장 가능한 솔루션이 중요합니다. MongoDB의 유연한 아키텍처 및 확장성 기능은 이러한 문제를 효과적으로 해결합니다. MongoDB는 분산된 문서 기반 데이터 모델을 통해 수직 및 수평적으로 원활하게 확장할 수 있습니다. 샤딩 을 활용하면 데이터를 멀티 노드에 분산하여 효율적인 리소스 활용을 보장하고 시스템이 성능 저하 없이 대량 트랜잭션을 처리할 수 있습니다. MongoDB의 자동 샤딩 기능은 워크로드 증가에 따라 동적으로 확장할 수 있어 금융 기관이 변화하는 수요에 유연하게 대응하고 원활하고 확장 가능한 오픈 뱅킹 인프라를 보장할 수 있도록 합니다. 가용성 오픈 뱅킹 분야에서는 가용성이 중요한 과제가 되고 있습니다. 타사 제공업체(TPP)의 뱅킹 서비스에 대한 의존도가 높아짐에 따라 일관된 가용성을 보장하는 것이 더욱 복잡해지고 있습니다. 이전에는 은행에서 유지 관리를 위해 이용량이 적은 시간대에 특정 서비스를 중단할 수 있었습니다. 그러나 연중무휴 24시간 서비스를 제공하는 TPP에서는 어떠한 다운타임도 용납되지 않습니다. 이에 따라 은행은 계획된 유지 관리 기간이나 예상치 못한 상황이 발생한 경우에도 Open API 서비스의 가용성을 지속해서 유지해야 한다는 압박을 받게 됩니다. 완전 관리형 글로벌 클라우드 데이터베이스 서비스인 MongoDB Atlas는 이러한 가용성 문제를 효과적으로 해결합니다. 멀티 노드 클러스터 및 멀티 클라우드 DBaaS 기능을 갖춘 MongoDB Atlas는 고가용성과 내결함성을 보장합니다. 여러 주요 클라우드 제공업체에서 실행할 수 있는 유연성을 제공하므로 은행은 여러 클라우드 플랫폼에 분산된 클러스터를 통해 집중 위험을 최소화하고 더 높은 가용성을 달성할 수 있습니다. MongoDB Atlas가 제공하는 강력한 복제 및 장애 복구 메커니즘은 중단 없는 서비스를 보장하며 금융 기관이 고객과 TPP에 안정적이고 항시 사용 가능한 오픈 뱅킹 API를 제공할 수 있도록 지원합니다. 보안 및 개인정보 보호 데이터 보안과 동의 관리는 오픈 뱅킹에 참여하는 은행의 가장 중요한 관심사입니다. 타사 제공업체에 인증 및 권한 부여 메커니즘이 노출되면 보안 문제가 제기되고 데이터 보호와 관련된 기술적 복잡성이 증가합니다. 은행은 데이터 공유 동의를 세분화된 수준으로 관리하는 등 공유 데이터를 보호하기 위해 세분화된 액세스 제어 및 암호화 메커니즘이 필요합니다. 또한 은행은 기존 은행 규정과는 다른 엄격한 요건을 부과하는 일반 데이터 보호 규정(GDPR)과 같은 데이터 보호 법률의 환경을 탐색해야 합니다. MongoDB는 이러한 보안 및 개인정보 보호 문제를 효과적으로 해결하기 위한 다양한 솔루션을 제공합니다. Queryable Encryption 는 MongoDB 내에서 암호화된 데이터를 관리하는 메커니즘을 제공하여 타사 제공업체와 공유할 때에도 민감한 정보를 안전하게 유지합니다. MongoDB의 포괄적인 암호화 기능은 미사용 데이터와 전송 중인 데이터에 적용되어 데이터 라이프사이클 내내 데이터를 보호합니다. 금융 기관은 MongoDB의 유연한 스키마를 통해 데이터 공유 동의를 관리하기 위한 다양한 데이터 요구 사항을 파악하고 여러 국가의 사용자 동의를 단일 데이터 저장소로 통합하여 복잡한 데이터 개인정보 보호법 준수를 간소화할 수 있습니다. 또한 MongoDB의 지리적 샤딩 기능은 관련 데이터와 동의 정보를 가장 가까운 클라우드 데이터 센터에 보관하는 동시에 데이터 액세스를 위한 최적의 응답 시간을 제공함으로써 데이터 거주지 관련 법률을 준수할 수 있게 해줍니다. 데이터 개인정보 보호를 더욱 강화하기 위해 MongoDB는 필드 수준 암호화 기술을 제공하여 필드 수준에서 대칭 암호화를 통해 민감한 데이터(예: 개인 식별 정보)를 TPP와 공유할 때도 보호할 수 있습니다. 필드의 무작위 암호화는 보안 계층을 추가하고 암호화된 데이터에 대한 쿼리 작업을 가능하게 합니다. MongoDB의 Queryable Encryption 기술은 보안을 더욱 강화하고 암호화 분석을 방어하여 오픈 뱅킹 에코시스템 내에서 고객 데이터를 안전하게 보호하고 기밀을 유지합니다. 활동 모니터링 오픈 뱅킹 에코시스템에서 은행이 제공하는 수많은 API를 통해 활동 모니터링 및 문제 해결은 강력하고 안전한 인프라를 유지하는 데 있어 매우 중요한 요소입니다. MongoDB는 모니터링 도구와 감사 기능을 통해 활동 모니터링을 간소화합니다. 관리자와 사용자는 세부적인 수준에서 시스템 활동을 추적하고 데이터베이스 시스템 및 애플리케이션 이벤트를 모니터링할 수 있습니다. MongoDB Atlas에는 MongoDB Atlas 서비스를 프로그래밍 방식으로 관리하는 데 사용할 수 있는 API가 있습니다. 예를 들어 Atlas 관리 API를 사용하여 데이터베이스 배포를 만들고 해당 배포에 사용자를 추가하며, 해당 배포를 모니터링하는 등의 작업을 수행할 수 있습니다. 이러한 API는 CI/CD 파이프라인의 자동화와 데이터 플랫폼의 활동 모니터링을 지원하여 개발자와 관리자는 일상적인 작업에서 벗어나 더 많은 비즈니스 가치를 창출하는 데 집중할 수 있습니다. 성능 어드바이저를 포함한 성능 모니터링 도구는 시스템 성능을 측정하고 최적화하여 API가 탁월한 사용자 경험을 제공할 수 있도록 지원합니다. 그림 2: MongoDB Atlas의 활동 모니터링 MongoDB Atlas의 통합 기능인 MongoDB Atlas Charts 는 분석 및 시각화 기능을 제공합니다. 금융 기관은 MongoDB Atlas Charts를 사용하여 비즈니스 인텔리전스 대시보드를 만들 수 있습니다. 따라서 기존 비즈니스 인텔리전스 도구와 관련된 고가의 라이선스가 필요하지 않으므로 더 많은 TPP가 API를 활용할수록 비용 효율성이 높아집니다. 금융 기관은 MongoDB Atlas Charts를 통해 보험 견적 건수, 정책 트랜잭션 수, API 호출량, 성능 메트릭 등 종합적인 비즈니스 원격 분석 데이터를 TPP에 제공할 수 있습니다. 이러한 인사이트를 통해 금융 기관은 오픈 뱅킹 에코시스템에서 데이터 기반 의사 결정을 내리고 운영 효율성을 개선하며 고객 경험을 최적화할 수 있습니다. 그림 3: Atlas Charts 샘플 대시보드 실시간 적시성 오픈 뱅킹은 예측할 수 없는 TPP의 워크로드 속에서 서비스를 제공하고 확장하기 위해 노력하는 금융 기관에게 새로운 과제를 안겨줍니다. 정적 콘텐츠는 문제가 덜하지만, 동적 계정 잔액이나 ESG 조정 신용 점수처럼 실시간 업데이트나 지속적인 스트리밍이 필요한 API는 실시간에 가까운 데이터 전송 기능이 필요합니다. 애플리케이션에서 실시간 변경 또는 변경 사항이 발생하면 즉시 대응할 수 있도록 조직은 집계 프레임워크에 기반한 MongoDB Change Streams 을 활용하여 단일 collection, 데이터베이스 또는 전체 배포의 데이터 변경에 대응할 수 있습니다. 이 기능은 MongoDB의 실시간 데이터, 이벤트 처리 및 분석 기능을 더욱 향상시킵니다. MongoDB는 이벤트 중심 아키텍처를 위한 Kafka 커넥터, Spark 를 통한 스트리밍을 위한 Spark 커넥터 등 데이터 스트리밍을 지원하는 다양한 메커니즘을 제공합니다. 이러한 솔루션을 통해 금융 기관은 오픈 뱅킹 파트너의 실시간 데이터 요구 사항을 효과적으로 충족하여 원활한 통합과 실시간 데이터 전달을 통해 고객 경험을 개선할 수 있습니다. 결론 MongoDB의 기술적 역량은 오픈 뱅킹 여정을 시작하는 금융 기관의 핵심 원동력으로 자리매김하고 있습니다. 동적 환경 관리와 예측 불가능한 워크로드 수용부터 확장성, 가용성, 보안 및 개인정보 보호 보장에 이르기까지, MongoDB는 오픈 뱅킹의 과제를 효과적으로 해결할 수 있는 포괄적인 도구와 기능을 제공합니다. 금융 기관은 기본 인프라로 MongoDB를 사용하여 끊임없이 진화하는 오픈 뱅킹 환경을 자신 있게 탐색하고 혁신적인 솔루션을 제공하며 뱅킹의 미래를 주도할 수 있습니다. 금융 기관은 MongoDB를 도입하여 오픈 뱅킹의 잠재력을 최대한 활용하고 협업과 디지털 혁신의 시대에 탁월한 고객 경험을 제공할 수 있습니다. MongoDB를 오픈 뱅킹 인프라에 활용하는 방법에 대해 자세히 알아보려면 아래 리소스를 살펴보세요. 오픈 뱅킹 패널 토론: 변화하는 데이터 및 API 표준의 세계에서 MongoDB, Celent, Icon Solutions 및 AWS를 통해 은행의 미래를 대비하세요. 데이터 메시로 오픈 뱅킹을 촉진하는 방법 금융 서비스 허브

June 6, 2023

Analyse de l'Open Banking avec MongoDB : défis techniques et solutions

Merci à Ainhoa Múgica pour sa contribution à cette publication. À l'origine d'une vague disruptive dans le secteur bancaire, l'open banking (ou open finance), comme le terme l'indique, a contraint les institutions financières (banques, assureurs, fintechs, entreprises et même organismes gouvernementaux) à entrer dans une nouvelle ère de transparence, de collaboration et d'innovation. Ce changement de paradigme exige des banques qu'elles partagent ouvertement les données des clients avec des fournisseurs tiers (TPP), ce qui favorise une meilleure expérience client et encourage le développement de solutions fintech innovantes en combinant les « meilleurs produits et services ». En 2020, 24,7 millions de personnes dans le monde utilisaient des services d'open banking, un chiffre qui devrait atteindre 132,2 millions d'ici 2024. Cette tendance croissante avive la concurrence, stimule l'innovation et favorise les partenariats entre les banques classiques et les entreprises fintech agiles. Dans cet environnement en pleine mutation, MongoDB, l'une des principales plateformes de données pour développeurs, joue un rôle essentiel dans le soutien de l'open banking en fournissant une infrastructure sécurisée, évolutive et flexible pour la gestion et la protection des données partagées des clients. En exploitant la puissance de la technologie MongoDB, les institutions financières peuvent réduire les coûts, améliorer l'expérience client et atténuer les risques potentiels associés au partage généralisé des données clients grâce à une conformité réglementaire stricte. Figure 1 : un exemple d'architecture d'open banking L'essence de l'open banking/finance consiste à tirer parti de protocoles d'échange de données communs pour partager des données et des services financiers avec des tiers. Dans ce blog, nous allons nous intéresser aux défis techniques et aux solutions de l'open banking du point de vue des données et des services de données et explorer comment MongoDB permet aux institutions financières de surmonter ces obstacles et de révéler tout le potentiel de cet écosystème ouvert. Environnements et normes dynamiques Alors que les normes d'open banking continuent d'évoluer, les institutions financières doivent rester flexibles pour répondre à l'évolution des réglementations et des demandes du secteur. Les relational databases classiques ont souvent du mal à suivre le rythme des exigences dynamiques de l'open banking en raison de leurs schémas rigides difficiles à modifier et à gérer dans le temps. Dans les pays qui ne disposent pas de cadres d'open banking normalisés, les banques et les fournisseurs tiers sont confrontés au défi de développer plusieurs versions d'API pour s'intégrer à différentes institutions, ce qui crée de la complexité et entrave l'interopérabilité. Heureusement, des normes ou des recommandations sur l'open banking (par exemple, Europe, Singapour, Indonésie, Hong Kong, Australie, etc.) exigent ou recommandent généralement que les API ouvertes soient de type RESTful et prennent en charge le format de données JSON, ce qui crée une base pour l'échange de données communes. MongoDB relève ces défis en offrant une plateforme de données flexible pour les développeurs qui prend en charge nativement le format de données JSON, simplifie la modélisation des données et permet aux développeurs de modifier les schémas de manière flexible. Grâce à des fonctionnalités telles que l'API de données MongoDB les développeurs peuvent réduire les efforts de développement et de maintenance en exposant facilement les données selon un code simplifié. La fonctionnalité Stable API garantit la compatibilité lors des mises à niveau de la base de données, en évitant les ruptures de code et en assurant une transition parfaite. En outre, MongoDB offre des fonctionnalités qui améliorent la productivité, telles que la recherche plein texte , la visualisation des données , la fédération des données , la synchronisation de mobile database et d'autres services applicatifs qui permettent aux développeurs d'accélérer la mise sur le marché. Grâce aux capacités de MongoDB, les institutions financières et les fournisseurs tiers peuvent évoluer plus efficacement dans l'environnement changeant de l'open banking, favoriser la collaboration et fournir des solutions innovantes aux clients. Natwest est un exemple de client qui tire parti de la gestion native des données JSON et de la flexibilité de MongoDB. Natwest est une grande banque de détail et commerciale du Royaume-Uni, basée à Londres, en Angleterre. La banque est passée de zéro à 900 millions d'appels d'API par mois en l'espace de quelques années, à mesure que l'adoption de l'open banking se développe et devrait être multipliée par 10 dans les années à venir. Lors d'un événement MongoDB le 15 novembre 2022, Jonathan Haggarty, responsable de la technologie « Bank of APIs » de Natwest, à savoir un écosystème d'API qui met les services de la banque de détail à la disposition de ses partenaires, a expliqué dans sa présentation « Driving Customer Value using API Data » que l'écosystème d'API croissant de Natwest lui permettait de « transférer un tas de données JSON dans MongoDB [ce qui facilite] le transfert d'informations simples à relativement complexes ». De plus, il est plus facile de masquer les informations relatives aux utilisateurs grâce au masquage des données pour protéger la vie privée des clients. Natwest est en mesure de mettre à la disposition de ses partenaires, via son écosystème d'API, des informations sur les données clients, par exemple « où se situent les clients dans le spectre du e-commerce », le « meilleur moment [pour les détaillants] pour proposer des réductions », ainsi que des informations sur les « clients les plus précieux ». Les données sont utilisées pour la résolution de problèmes, l'analyse et la compréhension, ainsi que pour la création de rapports. Performance Dans l'environnement dynamique de l'open banking, il est essentiel de répondre aux demandes imprévisibles de performance, d'évolutivité et de disponibilité. L'efficacité des applications et l'expérience client globale dépendent fortement de la réactivité des API. Toutefois, la mise en place d'une plateforme d'open banking devient complexe lorsqu'il s'agit d'accueillir des fournisseurs tiers dont les exigences commerciales et techniques ne sont pas communiquées. Sans une gestion minutieuse, cela peut entraîner des problèmes de performance imprévus et une hausse des coûts. Les services d'open banking exigent des performances élevées des API, quel que soit le volume de travail. OBIE recommande un TTLB (time to last byte) moyen de 750 ms par réponse de point de terminaison pour toutes les invitations de paiement (à l'exception des paiements sur fichier) et les API d'information sur les comptes. La conformité avec les accords de niveau de service (SLA) réglementaires dans certaines juridictions rend la tâche encore plus complexe. Les architectures et les bases de données héritées ont souvent du mal à répondre à ces critères exigeants, ce qui nécessite des modifications importantes pour garantir l'évolutivité et des performances optimales. C'est là que MongoDB entre en jeu. MongoDB est conçu pour offrir des performances exceptionnelles grâce à son moteur de stockage WiredTiger et à ses capacités de compression. En outre, MongoDB Atlas améliore les performances grâce à ses suggestions intelligentes d'index et de schémas, à la hiérarchisation automatique des données et à l'isolation de la charge de travail pour l'analyse. Temenos, un fournisseur renommé d'applications pour les services financiers, illustre parfaitement ses capacités en obtenant des performances et une efficacité remarquables en matière de traitement des volumes de transactions grâce à MongoDB Atlas. L'entreprise a récemment réalisé un benchmark avec MongoDB Atlas et Microsoft Azure et a traité avec succès un nombre incroyable de 200 millions de prêts financiers intégrés et 100 millions de comptes de détail à une vitesse record de 150 000 transactions par seconde . Cela démontre la puissance et l'évolutivité de MongoDB avec des performances inégalées pour permettre aux institutions financières de relever efficacement les défis posés par l'open banking. MongoDB garantit des performances, une évolutivité et une disponibilité exceptionnelles pour répondre aux exigences en constante évolution du secteur. Évolutivité La mise en place d'une plateforme au service des fournisseurs tiers, qui peuvent ne pas divulguer leurs usages commerciaux et leurs exigences techniques/de performance, peut entraîner des problèmes de performance et de coût imprévisibles si elle n'est pas gérée avec attention. Par exemple, une banque de Singapour a été confrontée à un problème où ses API ouvertes ont connu des pics de charge et des pannes tous les mercredis. Après enquête, elle a découvert que l'un des fournisseurs tiers menait une campagne promotionnelle tous les mercredis, ce qui entraînait un afflux d'appels d'API qui submergeait l'infrastructure de la banque. Il est essentiel de disposer d'une solution évolutive capable de répondre à des charges de travail imprévisibles, en plus de satisfaire aux exigences de performance d'un certain volume de transactions connu. L'architecture flexible et les caractéristiques d'évolutivité de MongoDB répondent efficacement à ces préoccupations. Grâce à son modèle de données distribuées basé sur des documents, MongoDB permet une mise à l'échelle transparente, à la fois verticalement et horizontalement. En s'appuyant sur le sharding , les données peuvent être réparties sur plusieurs nœuds, ce qui garantit une utilisation efficace des ressources et permet au système de gérer des volumes de transactions élevés sans compromettre les performances. La capacité d'auto-sharding de MongoDB permet une mise à l'échelle dynamique au fur et à mesure que la charge de travail augmente, offrant ainsi aux institutions financières la flexibilité nécessaire pour s'adapter à l'évolution de la demande et garantissant une infrastructure d'open banking fluide et évolutive. Disponibilité Dans le domaine de l’open banking, la disponibilité devient un défi crucial. Avec le recours accru aux services bancaires par des fournisseurs tiers (TPP), il devient plus complexe de garantir une disponibilité constante. Auparavant, les banques pouvaient interrompre certains services pendant les heures creuses pour en assurer la maintenance. Toutefois, comme les TPP offrent des services 24 heures sur 24 et 7 jours sur 7, tout temps d'arrêt devient inacceptable. Les banques sont donc davantage contraintes de maintenir une disponibilité constante pour les services d'API ouvertes, même pendant les fenêtres de maintenance planifiées ou lors d'événements imprévus. MongoDB Atlas, le service mondial de base de données cloud entièrement géré, répond efficacement à ces défis en matière de disponibilité. Grâce à ses capacités de cluster multi-nœuds et de DBaaS multi-cloud, MongoDB Atlas garantit une haute disponibilité et une tolérance aux pannes. Il offre la flexibilité de fonctionner sur plusieurs grands fournisseurs cloud, ce qui permet aux banques de minimiser le risque de concentration et d'atteindre une plus grande disponibilité grâce à un cluster distribué sur différentes plateformes cloud. Les mécanismes robustes de réplication et de basculement fournis par MongoDB Atlas garantissent un service ininterrompu et permettent aux institutions financières de fournir des API d'open banking fiables et toujours disponibles à leurs clients et TPP. Sécurité et confidentialité La sécurité des données et la gestion du consentement sont des préoccupations majeures pour les banques qui pratiquent l'open banking. L'exposition des mécanismes d'authentification et d'autorisation à des fournisseurs tiers soulève des problèmes de sécurité et introduit des complexités techniques en matière de protection des données. Les banques ont besoin d'un contrôle d'accès précis et de mécanismes de chiffrement pour protéger les données partagées, y compris la gestion du consentement pour le partage des données à un niveau granulaire. En outre, les banques doivent évoluer dans un environnement soumis à des lois sur la confidentialité des données, comme le Règlement général sur la protection des données (GDPR), qui impose des exigences strictes distinctes des réglementations bancaires classiques. MongoDB propose une série de solutions pour relever efficacement ces défis en matière de sécurité et de protection de la vie privée. Queryable Encryption fournit un mécanisme de gestion des données chiffrées au sein de MongoDB, garantissant que les informations sensibles restent sécurisées, même lorsqu'elles sont partagées avec des fournisseurs tiers. Les fonctions de chiffrement complètes de MongoDB couvrent les données au repos et les données en transit, protégeant ainsi les données tout au long de leur cycle de vie. Le schéma flexible de MongoDB permet aux institutions financières de répondre à diverses exigences en matière de données pour gérer le consentement au partage des données et unifier le consentement des utilisateurs de différents pays dans un seul entrepôt de données, ce qui simplifie la conformité avec les lois complexes sur la confidentialité des données. En outre, les capacités de geo-sharding de MongoDB permettent de respecter les lois sur la résidence des données en garantissant que les données pertinentes et les informations de consentement restent dans le centre de données cloud le plus proche tout en fournissant des temps de réponse optimaux pour accéder aux données. Pour améliorer encore la confidentialité des données, MongoDB propose des techniques de chiffrement au niveau du champ , permettant un chiffrement symétrique à ce niveau afin de protéger les données sensibles (par exemple, les informations personnelles identifiables), même lorsqu'elles sont partagées avec des TPP. Le chiffrement aléatoire des champs ajoute un niveau de sécurité supplémentaire et permet d'effectuer des opérations de requête sur les données chiffrées. La technique de chiffrement interrogeable de MongoDB renforce encore la sécurité et protège contre la cryptanalyse, garantissant que les données des clients restent protégées et confidentielles au sein de l'écosystème d'open banking. Suivi des activités Avec les nombreuses API proposées par les banques dans l'écosystème d'open banking, le suivi des activités et le dépannage deviennent des aspects indispensables au maintien d'une infrastructure fiable et sécurisée. MongoDB simplifie le suivi des activités grâce à ses outils de suivi et à ses capacités d'audit. Les administrateurs et les utilisateurs peuvent suivre l'activité du système à un niveau granulaire, en surveillant les événements du système de base de données et de l'application. MongoDB Atlas dispose d'API administratives que l'on peut utiliser pour gérer le service Atlas de manière programmatique. Par exemple, on peut utiliser l'API administrative d'Atlas pour créer des déploiements de bases de données, ajouter des utilisateurs à ces déploiements, surveiller ces déploiements, etc. Ces API peuvent contribuer à l'automatisation des pipelines CI/CD ainsi qu'à la surveillance des activités sur la plateforme de données, ce qui permet aux développeurs et aux administrateurs de se décharger de ces tâches banales et de se concentrer sur la création d'une plus grande valeur commerciale. Les outils de surveillance des performances, y compris le conseiller en performances, permettent d'évaluer et d'optimiser les performances du système, en veillant à ce que les API offrent des expériences exceptionnelles aux utilisateurs. Figure 2 : Suivi de l’activité sur MongoDB Atlas MongoDB Atlas Charts , une fonction intégrée de MongoDB Atlas, offre des capacités d'analyse et de visualisation. Les institutions financières peuvent créer des tableaux de bord de veille stratégique à l'aide de MongoDB Atlas Charts. Cela élimine la nécessité d'une licence coûteuse associée aux outils classiques de veille stratégique, ce qui rend l'outil rentable à mesure que de plus en plus de TPP utilisent les API. Avec MongoDB Atlas Charts, les institutions financières peuvent offrir aux TPP des données de télémétrie commerciale complètes, telles que le nombre de devis d'assurance, les transactions de contrats, les volumes d'appels d'API et les indicateurs de performance. Ces informations permettent aux institutions financières de prendre des décisions basées sur des données, d'améliorer l'efficacité opérationnelle et d'optimiser l'expérience client dans l'écosystème d'open banking. Figure 3 : Exemple de tableau de bord Atlas Charts Informations en temps réel Les services d'open banking posent de nouveaux défis aux institutions financières qui s'efforcent de fournir des services et de s'adapter aux charges de travail imprévisibles des TPP. Si les contenus statiques posent moins de difficultés, les API nécessitant des mises à jour en temps réel ou des flux continus, comme les soldes de comptes dynamiques ou les scores de solvabilité ajustés par l'ESG, exigent des capacités de fourniture de données en temps quasi réel. Pour permettre aux applications de réagir immédiatement aux modifications en temps réel ou au fur et à mesure qu'elles se produisent, les entreprises peuvent exploiter MongoDB Change Streams qui sont basés sur son cadre d'agrégation pour réagir aux modifications de données dans une seule collection, une base de données ou même un déploiement entier. Cette capacité améliore encore les capacités d'analyse et de traitement des données et des événements en temps réel de MongoDB. MongoDB propose plusieurs mécanismes pour prendre en charge le streaming de données, notamment un connecteur Kafka pour les architectures pilotées par les événements et un connecteur Spark pour le streaming avec Spark. Ces solutions permettent aux institutions financières de répondre efficacement aux besoins en données en temps réel de leurs partenaires d'open banking, en permettant une intégration transparente et la fourniture de données en temps réel pour améliorer l'expérience client. Conclusion Les capacités techniques de MongoDB en font un outil essentiel pour les institutions financières qui s'engagent dans la voie de l'open banking. Qu'il s'agisse de gérer des environnements dynamiques, de s'adapter à des charges de travail imprévisibles ou de garantir l'évolutivité, la disponibilité, la sécurité et la confidentialité, MongoDB offre un ensemble complet d'outils et de fonctionnalités pour relever efficacement les défis de l'open banking. Avec MongoDB comme infrastructure sous-jacente, les institutions financières peuvent évoluer en toute confiance dans l'environnement en constante évolution de l'open banking, en fournissant des solutions innovantes et en guidant les banques de demain. L'adoption de MongoDB permet aux institutions financières de révéler tout le potentiel de l'open banking et de fournir des expériences client exceptionnelles à l'ère de la collaboration et de la transformation numérique. Si vous souhaitez en savoir plus sur la façon dont vous pouvez tirer parti de MongoDB pour votre infrastructure d'open banking, jetez un coup d'œil aux ressources ci-dessous : Table ronde sur l'open banking : préparez votre banque à affronter l'évolution des données et des normes d'API avec MongoDB, Celent, Icon Solutions et AWS Comment un maillage de données facilite les opérations d'open banking Hub de services financiers

June 6, 2023

Dissecando o open banking com o MongoDB: desafios técnicos e soluções

Obrigado a Ainhoa Múgica pelas contribuições para este post. Ao desencadear uma onda disruptiva no setor bancário, o open banking (ou open finance), como o termo indica, obrigou as instituições financeiras (bancos, seguradoras, fintechs, empresas e até mesmo órgãos governamentais) a adotar uma nova era de transparência, colaboração e inovação. Essa mudança de paradigma exige que os bancos compartilhem abertamente os dados do cliente com provedores terceirizados (TPPs), impulsionando experiências aprimoradas do cliente e promovendo o desenvolvimento de soluções inovadoras de fintech com a combinação dos melhores produtos e serviços. Em 2020, 24,7 milhões de pessoas em todo o mundo usavam serviços bancários abertos, um número que deve chegar a 132,2 milhões até 2024. Essa tendência crescente fomenta a concorrência, estimula a inovação e promove parcerias entre bancos tradicionais e empresas ágeis de fintech. Nesse cenário transformador, o MongoDB, uma das principais plataformas de dados para desenvolvedores, desempenha um papel fundamental no suporte ao open banking, fornecendo uma infraestrutura segura, dimensionável e flexível para gerenciar e proteger os dados compartilhados dos clientes. Ao aproveitar o poder da tecnologia do MongoDB, as instituições financeiras podem reduzir custos, melhorar as experiências dos clientes e mitigar os riscos potenciais associados ao compartilhamento generalizado de dados de clientes por meio de uma conformidade regulatória rigorosa. Figura 1: exemplo de arquitetura de open banking A essência do open banking/finance é usar protocolos comuns de troca de dados para compartilhar dados e serviços financeiros com terceiros. Neste blog, vamos nos aprofundar nos desafios técnicos e nas soluções do open banking a partir de uma perspectiva de dados e serviços de dados e explorar como o MongoDB capacita as instituições financeiras para superar os obstáculos e desbloquear todo o potencial desse ecossistema aberto. Ambientes e padrões dinâmicos Como os padrões de open banking continuam evoluindo, as instituições financeiras precisam permanecer adaptáveis para atender às mudanças nas regulamentações e nas demandas do setor. Os relational databases tradicionais muitas vezes lutam para acompanhar os requisitos dinâmicos do open banking devido a seus esquemas rígidos, que são difíceis de alterar e gerenciar ao longo do tempo. Em países sem estruturas padronizadas de open banking, bancos e provedores terceirizados enfrentam o desafio de desenvolver múltiplas versões de API para integração com diferentes instituições, o que gera complexidade e dificulta a interoperabilidade. Felizmente, os padrões ou diretrizes de open banking (por exemplo, como encontramos na Europa, Singapura, Indonésia, Hong Kong, Austrália etc.) geralmente exigem ou recomendam que as APIs abertas sejam RESTful e suportem o formato de dados JSON, estabelecendo uma base para a troca de dados comum. O MongoDB aborda esses desafios oferecendo uma plataforma de dados flexível para desenvolvedores que suporta nativamente o formato de dados JSON, simplifica a modelagem de dados e permite alterações flexíveis de esquema para os desenvolvedores. Com recursos como MongoDB Data API os desenvolvedores podem reduzir os esforços de desenvolvimento e manutenção expondo facilmente os dados com pouco código. O recurso Stable API garante compatibilidade durante atualizações de banco de dados, evitando quebras de código e proporcionando uma transição perfeita. Além disso, o MongoDB oferece recursos que aumentam a produtividade, como pesquisa de texto completo , visualização de dados , federação de dados , sincronização de mobile database e outros serviços de aplicativos , permitindo que os desenvolvedores acelerem o tempo de lançamento no mercado. Com os recursos do MongoDB, as instituições financeiras e os provedores terceirizados podem navegar de forma mais eficaz no cenário dinâmico do open banking, promover a colaboração e fornecer soluções inovadoras aos clientes. Um exemplo de cliente que aproveita o gerenciamento e a flexibilidade de dados JSON nativos do MongoDB é o Natwest. O Natwest é um importante banco varejista e comercial do Reino Unido, com sede em Londres, Inglaterra. O banco passou de zero para 900 milhões de chamadas de API por mês em poucos anos devido ao crescimento da adesão ao open banking; espera-se que esse número cresça 10 vezes nos próximos anos. Em um evento do MongoDB em 15 de novembro de 2022, Jonathan Haggarty, chefe de tecnologia do "banco de APIs" da Natwest – um ecossistema de API que leva os serviços do banco de varejo aos parceiros – compartilhou em sua apresentação " Driving Customer Value using API Data " ("Como gerar valor para o cliente usando dados de API", em tradução livre) que o crescente ecossistema de API da Natwest permite "mandar um monte de dados JSON para o MongoDB, o que facilita a transformação de informações simples em complexas" e também descomplica a ofuscação detalhes do usuário com mascaramento de dados para assegurar a privacidade do cliente. O Natwest pode revelar insights de dados de clientes para parceiros por meio de seu ecossistema de API, por exemplo, “onde os clientes estão no espectro do comércio eletrônico”, o “melhor momento [para os varejistas] promoverem descontos”, bem como insights sobre “clientes mais valiosos”. Os dados podem ser usados para resolução de problemas; análises e insights; e elaboração de relatórios. Desempenho No cenário dinâmico do open banking, é fundamental atender às demandas imprevisíveis de desempenho, escalabilidade e disponibilidade. A eficiência dos aplicativos e a experiência geral do cliente dependem muito da capacidade de resposta das APIs. No entanto, a criação de uma plataforma open banking fica mais complexa quando é necessário acomodar provedores terceirizados com requisitos comerciais e técnicos não revelados. Sem um gerenciamento cuidadoso, isso pode levar a problemas imprevistos de desempenho e aumento de custos. O open banking exige alto desempenho das APIs em todos os tipos de volumes de carga de trabalho. A OBIE recomenda um TTLB (tempo até o último byte) médio de 750 ms por resposta de endpoint para todos os convites de pagamento (exceto pagamentos de arquivo) e APIs de informações da conta. A conformidade com os acordos de nível de serviço regulamentares em determinadas jurisdições aumenta ainda mais a complexidade. As arquiteturas e os bancos de dados legados geralmente têm dificuldades para atender a esses critérios exigentes, necessitando de mudanças extensas para garantir a escalabilidade e o desempenho ideal. É aí que o MongoDB entra em ação. O MongoDB foi desenvolvido especificamente para oferecer um desempenho excepcional com seu mecanismo de armazenamento WiredTiger e seus recursos de compactação. Além disso, o MongoDB Atlas melhora o desempenho seguindo suas sugestões inteligentes de índice e esquema, hierarquização automática de dados e isolamento de carga de trabalho para análise. Uma excelente exemplo de seus recursos é demonstrado pela Temenos, um renomado provedor de aplicativos de serviços financeiros, que alcançou desempenho e eficiência notáveis no processamento de grandes volumes de transações com o MongoDB Atlas. Eles executaram recentemente um benchmark com o MongoDB Atlas e o Microsoft Azure e processaram 200 milhões de empréstimos financeiros incorporados e 100 milhões de contas de varejo a uma velocidade recorde 150.000 transações por segundo . Isso mostra o poder e a escalabilidade do MongoDB, que oferece desempenho incomparável para capacitar as instituições financeiras a lidar com os desafios impostos pelo open banking. O MongoDB garante desempenho, escalabilidade e disponibilidade excepcionais para atender às demandas em constante evolução do setor. Escalabilidade A criação de uma plataforma para atender aos TPPs, que nem sempre divulgam seus usos comerciais e requisitos técnicos ou de desempenho, pode apresentar problemas imprevisíveis de desempenho e custo quando não é gerenciada com cuidado. Por exemplo, um banco em Singapura enfrentou um problema de picos de carga e falhas nas suas Open APIs todas as quartas-feiras. Após a investigação, eles descobriram que um dos TPPs realizava uma campanha promocional toda quarta-feira, resultando em um aumento de chamadas de API que sobrecarregaram a infraestrutura do banco. Além de atender aos requisitos de desempenho de um determinado volume conhecido de transações, uma solução dimensionável pode funcionar com cargas de trabalho imprevisíveis. A arquitetura flexível e os recursos de escalabilidade do MongoDB abordam essas preocupações de forma eficaz. Com seu modelo de dados distribuído baseado em documentos, o MongoDB permite dimensionamento contínuo tanto vertical quanto horizontalmente. Utilizando a fragmentação , os dados podem ser distribuídos em vários nós, o que garante uma utilização eficiente dos recursos e possibilita que o sistema lide com altos volumes de transações sem comprometer o desempenho. O recurso de fragmentação automática do MongoDB permite o dimensionamento dinâmico à medida que a carga de trabalho cresce, fornecendo às instituições financeiras a flexibilidade de se adaptar às demandas em constante mudança e garantindo uma infraestrutura de open banking estável e expansível. Disponibilidade No domínio do open banking, a disponibilidade é um desafio crítico. Com a crescente dependência de serviços bancários por parte dos TPPs, é cada vez mais complexo garantir uma disponibilidade consistente. Antigamente os bancos podiam interromper determinados serviços fora dos horários de pico para manutenção. No entanto, como os TPPs oferecem experiências 24 horas por dia, qualquer tempo de inatividade é inaceitável. Isso coloca mais pressão sobre os bancos para manterem disponibilidade constante para serviços de Open API, mesmo durante períodos de manutenção planejados ou eventos imprevistos. O MongoDB Atlas, o serviço de banco de dados em nuvem global totalmente gerenciado, aborda esses desafios de disponibilidade de forma eficaz. Com seus recursos de cluster de vários nós e DBaaS em várias nuvens, o MongoDB Atlas garante alta disponibilidade e tolerância a falhas. Ele oferece a flexibilidade de executar em vários provedores de nuvem líderes, permitindo que os bancos minimizem o risco de concentração e alcancem maior disponibilidade com um cluster distribuído em diferentes plataformas de nuvem. Os mecanismos robustos de replicação e failover fornecidos pelo MongoDB Atlas garantem um serviço ininterrupto e ajudam as instituições financeiras a fornecer APIs de open banking confiáveis e sempre disponíveis para seus clientes e TPPs. Segurança e privacidade A segurança de dados e a gestão de consentimento são preocupações fundamentais para os bancos que participam do open banking. A exposição de mecanismos de autenticação e autorização a provedores externos aumenta as preocupações de segurança e introduz complexidades técnicas em relação à proteção de dados. Os bancos exigem controle de acesso e mecanismos de criptografia refinados para proteger os dados compartilhados, incluindo a gestão do consentimento de compartilhamento de dados em nível granular. Além disso, os bancos precisam navegar pelo cenário das leis de privacidade de dados, como o Regulamento Geral de Proteção de Dados (GDPR), que impõe requisitos rigorosos diferentes das normas bancárias tradicionais. O MongoDB disponibiliza uma variedade de soluções para enfrentar esses desafios de segurança e privacidade de forma eficaz. O Queryable Encryption fornece um mecanismo para gerenciar dados criptografados dentro do MongoDB, garantindo que informações confidenciais permaneçam seguras mesmo quando compartilhadas com provedores de terceiros. Os recursos extensos de criptografia do MongoDB abrangem dados em repouso e em trânsito, protegendo-os durante todo o ciclo de vida. O esquema flexível do MongoDB permite que as instituições financeiras capturem diversos requisitos de dados para gerenciar o consentimento de compartilhamento de dados e unificar o consentimento do usuário de diferentes países em um único armazenamento de dados, simplificando a conformidade com as complexas leis de privacidade de dados. Além disso, os recursos de geo-sharding do MongoDB permitem a conformidade com as leis de residência de dados, pois asseguram que os dados relevantes e as informações de consentimento permaneçam no data center em cloud mais próximo e ofereçam tempos de resposta ideais para o acesso aos dados. Para melhorar ainda mais a privacidade dos dados, o MongoDB oferece técnicas de criptografia simétrica dos campos , o que viabiliza a proteção de dados confidenciais (por exemplo, informações pessoais identificáveis) mesmo quando compartilhados com TPPs. A criptografia aleatória de campos adiciona uma camada adicional de segurança e permite operações de consulta nos dados criptografados. A técnica Queryable Encryption do MongoDB reforça ainda mais a segurança e protege contra a criptoanálise, garantindo que os dados dos clientes permaneçam protegidos e confidenciais no ecossistema do open banking. Monitoramento de atividades Com inúmeras APIs oferecidas pelos bancos no ecossistema do open banking, o monitoramento de atividades e a solução de problemas se tornam aspectos críticos da manutenção de uma infraestrutura robusta e segura. O MongoDB simplifica o monitoramento de atividades com ferramentas específicas e recursos de auditoria. Os administradores e usuários podem acompanhar a atividade do sistema em um nível granular, monitorando o sistema de banco de dados e os eventos do aplicativo. O MongoDB Atlas tem APIs de administração , que podem ser usadas para gerenciar programaticamente o serviço Atlas. Por exemplo, é possível usar a API de Administração do Atlas para criar implantações de banco de dados, adicionar usuários a elas, monitorá-las e muito mais. Essas API podem ajudar na automação de pipelines de CI/CD, bem como no monitoramento das atividades na plataforma de dados. Isso permite que desenvolvedores e administradores se livrem desse esforço mundano e se concentrem em gerar mais valor comercial. As ferramentas de monitoramento de desempenho, incluindo o consultor de desempenho, ajudam a medir e otimizar o desempenho do sistema, garantindo que o site API ofereça experiências excepcionais aos usuários. Figura 2: monitoramento de atividades no MongoDB Atlas O MongoDB Atlas Charts , um recurso integrado do MongoDB Atlas, oferece ferramentas de análise e visualização. As instituições financeiras podem criar painéis de inteligência de negócios usando o MongoDB Atlas Charts. Isso elimina o custo elevado de licenciamento das ferramentas tradicionais de business intelligence, tornando-os ainda mais econômicos à medida que os TPPs adotam as APIs. Com o MongoDB Atlas Charts, as instituições financeiras podem oferecer dados abrangentes de telemetria comercial aos TPPs, como o número de cotações de seguros, transações de apólices, volumes de chamadas de API e métricas de desempenho. Esses insights capacitam as instituições financeiras a tomar decisões baseadas em dados, melhorar a eficiência operacional e otimizar a experiência do cliente no ecossistema do open banking. Figura 3: exemplo de painel do Atlas Charts Operações em tempo real O open banking apresenta novos desafios para as instituições financeiras na jornada para atender e crescer em meio às cargas de trabalho imprevisíveis dos TPPs. Embora o conteúdo estático represente menos dificuldades, as APIs que exigem atualizações em tempo real ou streaming contínuo, como saldos dinâmicos de contas ou pontuações de crédito com ajuste de ESG, precisam de ferramentas que obtenham dados em tempo quase real. Para permitir que a aplicação reaja imediatamente às alterações em tempo real ou à medida que elas ocorrem, as organizações podem usar os change streams do MongoDB baseados na estrutura de agregação para responder às alterações de dados em uma única collection, banco de dados ou até mesmo uma implantação inteira. Esse recurso aprimora ainda mais as ferramentas de análise e processamento de dados e eventos em tempo real do MongoDB. O MongoDB oferece vários mecanismos para suportar o streaming de dados, incluindo um conector Kafka para arquitetura orientada a eventos e um conector Spark para streaming com Spark. Essas soluções capacitam as instituições financeiras a atender às necessidades de dados em tempo real de seus parceiros de open banking de forma eficaz, aperfeiçoando a integração e a entrega de dados em tempo real para gerar experiências de cliente ainda melhores. Conclusão As capacidades técnicas do MongoDB o posicionam como um facilitador fundamental para as instituições financeiras que embarcam em sua jornada de open banking. O MongoDB fornece um conjunto abrangente de ferramentas e recursos para enfrentar os desafios do open banking com eficiência, como gerenciamento de ambientes dinâmicos, acomodação de cargas de trabalho imprevisíveis e garantia de escalabilidade, disponibilidade, segurança e privacidade Com o MongoDB como infraestrutura subjacente, as instituições financeiras podem navegar pelo cenário dinâmico do open banking com confiança e fornecer soluções inovadoras para impulsionar o futuro dos serviços bancários. A adoção do MongoDB capacita as instituições financeiras a desbloquear todo o potencial do open banking e a oferecer experiências excepcionais aos clientes nesta era de colaboração e transformação digital. Se quiser saber mais sobre como usar o MongoDB na sua infraestrutura de open banking, confira os recursos abaixo: Painel de discussão sobre open banking: conte com MongoDB, Celent, Icon Solutions e AWS para preparar seu banco para o futuro em um mundo dinâmico de dados e padrões de API Como uma malha de dados facilita o open banking Centro de serviços financeiros

June 6, 2023

Analizzare l'open banking con MongoDB: sfide tecniche e soluzioni

Si ringrazia Ainhoa Múgica per il suo contributo a questo post. Come indica il termine, l'open banking (o finanza aperta), che ha scatenato una vera e propria rivoluzione nel settore bancario, ha costretto gli istituti finanziari (banche, compagnie assicurative, fintech, aziende e perfino enti governativi) ad accogliere una nuova era di trasparenza, collaborazione e innovazione. Questo cambiamento di paradigma richiede che le banche condividano apertamente i dati dei clienti con fornitori di terze parti (TPP), creando esperienze del cliente migliorate e promuovendo lo sviluppo di soluzioni fintech innovative attraverso la combinazione dei prodotti e servizi migliori a disposizione. A tutto il 2020, 24,7 milioni di persone in tutto il mondo utilizzava servizi di open banking, un numero che, si prevede, aumenterà fino a 132,2 milioni entro il 2024. Questa tendenza in aumento alimenta la competizione, stimola l'innovazione e promuove le partnership fra banche tradizionali e aziende di fintech agili. In questo panorama trasformativo, MongoDB, una piattaforma di dati per sviluppatori leader del settore, gioca un ruolo fondamentale nel supportare l'open banking con un'infrastruttura sicura, scalabile e flessibile per gestire e proteggere i dati condivisi dei clienti. Sfruttando la potenza della tecnologia di MongoDB, gli istituti finanziari possono abbattere i costi, migliorare le esperienze del cliente e mitigare i potenziali rischi associati alla condivisione diffusa dei dati dei clienti attraverso una rigorosa conformità normativa. Figura 1: Un esempio di architettura di open banking L'essenza dell'open banking (o finanza aperta) sta nello sfruttamento di protocolli di scambio dei dati comuni per condividere i dati e i servizi finanziari con terze parti. In questo post, approfondiremo le sfide tecniche e le soluzioni dell'open banking da una prospettiva di dati e servizi di dati, ed esploreremo come MongoDB permette agli istituti finanziari di superare questi ostacoli e sbloccare il pieno potenziale di questo ecosistema aperto. Ambienti e standard dinamici Con l'evoluzione continua degli standard relativi all'open banking, gli istituti finanziari devono essere pronti ad adattarsi ai cambiamenti delle normative e alle richieste del settore. I database relazionali tradizionali spesso faticano a tenere il passo con i requisiti dinamici dell'open banking a causa dei loro rigidi schemi, difficili da modificare e gestire nel tempo. Nei paesi senza framework bancari aperti standardizzati, le banche e i fornitori di terze parti si trovano ai dover sviluppare più versioni delle API per integrarsi con diverse istituzioni, creando complessità e ostacoli all'interoperabilità. Fortunatamente, le linee guida e gli standard di banking aperti (come quelli di Europa, Singapore, Indonesia, Hong Kong, Australia, ecc.) hanno generalmente richiesto o consigliato che le API aperte siano RESTful e supportino il formato JSON dei dati, che crea una base per lo scambio comune. MongoDB affronta queste sfide offrendo una piattaforma di dati per sviluppatori flessibile che supporta in modo nativo il formato di dati JSON, semplifica la modellazione dei dati e consente agli sviluppatori di modificare lo schema in modo flessibile. Grazie a funzionalità come MongoDB Data API gli sviluppatori possono ridurre gli sforzi di sviluppo e manutenzione, esponendo facilmente i dati in modo low-code. La funzionalità Stable API garantisce la compatibilità durante gli aggiornamenti del database, prevenendo interruzioni del codice e fornendo una transizione senza ostacoli. Inoltre, MongoDB offre funzionalità che aumentano la produttività, come la ricerca full-text , la visualizzazione e la federazione dei dati , la sincronizzazione dei database mobili e altri servizi di app che consentono agli sviluppatori di accelerare il time-to-market. Grazie alle funzionalità di MongoDB, gli istituti finanziari e i fornitori di terze parti possono orientarsi in modo più efficace nel mutevole panorama dell'open banking, promuovere la collaborazione e fornire soluzioni innovative ai clienti. Un esempio di cliente che sfrutta la gestione e la flessibilità dei dati JSON nativi di MongoDB è Natwest, una delle principali banche retail e commerciali del Regno Unito con sede a Londra, Inghilterra. La banca è passata da zero a 900 milioni di chiamate API al mese nel giro di pochi anni, mentre l'adozione dell'open banking, che si prevede aumenterà di 10 volte nei prossimi anni, è in crescita continua. In occasione di un evento MongoDB tenutosi il 15 novembre 2022, Jonathan Haggarty, responsabile della tecnologia "Bank of APIs" di Natwest (un ecosistema di API che porta i servizi retail della banca ai partner), ha condiviso una presentazione intitolata " Driving Customer Value using API Data ", in cui spiegava che l'ecosistema di API in crescita di Natwest permette consente di "spingere moltissimi dati JSON in MongoDB, il che che semplifica il passaggio da informazioni semplici a informazioni molto più complesse" e rende anche più facile offuscare i dettagli degli utenti attraverso il mascheramento dei dati a scopi di privacy. Natwest ora può fornire ai partner informazioni sui dati dei clienti tramite il suo ecosistema API, ad esempio "dove si trovano i clienti nello spettro dell'e-commerce", il "momento migliore per i rivenditori per applicare sconti" e informazioni sui "clienti di maggior valore", con l'utilizzo dei dati per la risoluzione dei problemi, analytics, insight e report. Prestazioni Nel panorama dinamico dell'open banking, soddisfare le esigenze imprevedibili di performance, scalabilità e disponibilità è fondamentale. L'efficienza delle applicazioni e l'esperienza complessiva del cliente dipendono fortemente dalla reattività delle API. Tuttavia, la costruzione di una piattaforma di open banking si complica quando si devono accogliere fornitori terzi con requisiti tecnici e commerciali non rivelati. Senza una gestione attenta, questo può portare a problemi di prestazioni imprevisti e ad un aumento dei costi. L'open banking richiede prestazioni elevate delle API con workload di tutti i tipi di volume. OBIE consiglia un TTLB medio (time to last byte) di 750 ms per risposta all'endpoint per tutti gli inviti di pagamento (eccetto i pagamenti di file) e le API di informazioni sull'account. Il rispetto degli accordi normativi sul livello di servizio (SLA) in alcune giurisdizioni aumenta ulteriormente la complessità. Le architetture e i database legacy spesso faticano a soddisfare questi criteri così severi, rendendo necessarie modifiche estese per garantire scalabilità e prestazioni ottimali. È qui che entra in gioco MongoDB. MongoDB è stato creato appositamente per offrire prestazioni eccezionali con il motore di archiviazione WiredTiger e le sue funzionalità di compressione. Inoltre, MongoDB Atlas migliora le prestazioni in base ai suggerimenti intelligenti relativi a indici e schemi, al livello automatico dei dati e all'isolamento del workload per l'analytics. Un'ottima dimostrazione delle sue capacità è il caso di Temenos, un rinomato fornitore di applicazioni per i servizi finanziari che ha raggiunto performance ed efficienza notevoli nell'elaborazione dei volumi di transazioni sfruttando MongoDB Atlas. Di recente hanno eseguito un benchmark con MongoDB Atlas e Microsoft Azure, riuscendo a elaborare ben 200 milioni di prestiti finanziari incorporati e 100 milioni di conti al dettaglio con un record di 150.000 transazioni al secondo . Tutto questo dimostra la potenza e la scalabilità di MongoDB con prestazioni senza precedenti, per consentire agli istituti finanziari di affrontare efficacemente le sfide dell'open banking. MongoDB garantisce prestazioni, scalabilità e disponibilità eccezionali per soddisfare le esigenze in continua evoluzione del settore. Scalabilità Se non gestita con attenzione, la creazione di una piattaforma al servizio dei TPP, che potrebbero non voler rivelare i propri usi aziendali e i requisiti tecnici/di prestazioni, può introdurre problemi di performance e costi imprevedibili. Per esempio, una banca di Singapore ha dovuto affrontare un problema per cui le sue API aperte subivano picchi di carico e arresti anomali ogni mercoledì. Dopo un'indagine, hanno scoperto che uno dei TPP organizzava una campagna promozionale ogni mercoledì, provocando un'ondata di chiamate API che travolgevano l'infrastruttura della banca. È fondamentale quindi adottare una soluzione scalabile in grado di funzionare con carichi di lavoro imprevedibili, oltre che di soddisfare i requisiti di performance di un determinato volume noto di transazioni. L'architettura flessibile e le funzionalità di scalabilità di MongoDB risolvono questi problemi in modo efficace. Con il suo modello di dati distribuito basato su documenti, MongoDB consente un ridimensionamento continuo sia verticale che orizzontale. Sfruttando il partizionamento orizzontale , i dati possono essere distribuiti su più nodi, garantendo un utilizzo efficiente delle risorse e consentendo al sistema di gestire elevati volumi di transazioni senza compromettere le prestazioni. La capacità di auto-partizionamento di MongoDB consente di scalare in modo dinamico in base alla crescita del carico di lavoro, offrendo agli istituti finanziari la flessibilità di cui hanno bisogno per adattarsi alle mutevoli esigenze e garantendo un'infrastruttura bancaria aperta fluida e scalabile. Disponibilità Nel regno dell'open banking, la disponibilità diventa una sfida fondamentale. Con il crescente ricorso ai servizi bancari da parte di fornitori di terze parti (TPP), garantire una disponibilità costante diventa sempre più complesso. In precedenza, le banche potevano sospendere alcuni servizi durante le ore non di punta per scopi di manutenzione. Tuttavia, con i TPP che offrono esperienze 24 ore su 24, 7 giorni su 7, qualsiasi tempo di inattività è inaccettabile. Ciò comporta una maggiore pressione sulle banche, che devono mantenere una disponibilità costante dei servizi Open API anche durante le finestre di manutenzione programmata o gli eventi imprevisti. MongoDB Atlas, il servizio di database cloud globale completamente gestito, affronta efficacemente queste sfide di disponibilità. Con il suo cluster multi-nodo e le funzionalità DBaaS multi-cloud, MongoDB Atlas garantisce un'elevata disponibilità e tolleranza ai guasti. Offre la flessibilità necessaria per funzionare su più provider cloud leader, consentendo alle banche di ridurre al minimo il rischio di concentrazione e ottenere una maggiore disponibilità attraverso un cluster distribuito su diverse piattaforme cloud. I robusti meccanismi di replica e failover forniti da MongoDB Atlas garantiscono un servizio ininterrotto e consentono agli istituti finanziari di fornire API open banking affidabili e sempre disponibili ai propri clienti e ai TPP. Sicurezza e privacy La sicurezza dei dati e la gestione del consenso sono questioni fondamentali per le banche che partecipano all'open banking. L'esposizione dei meccanismi di autenticazione e autorizzazione a fornitori terzi solleva preoccupazioni relative alla sicurezza e introduce complessità tecniche per riguardo alla la protezione dei dati. Le banche necessitano di meccanismi di controllo dell'accesso e di crittografia granulari per tutelare i dati condivisi, compresa la gestione del consenso alla condivisione dei dati a livello granulare. Inoltre, le banche devono orientarsi nel panorama delle leggi sulla privacy dei dati, fra cui il Regolamento generale sulla protezione dei dati (GDPR), che impongono requisiti rigorosi diversi dalle tradizionali normative bancarie. MongoDB offre una gamma di soluzioni per affrontare efficacemente queste sfide di sicurezza e privacy. Queryable Encryption fornisce un meccanismo per la gestione di dati crittografati all'interno di MongoDB, garantendo la sicurezza delle informazioni sensibili anche se condivise con provider di terze parti. Le funzionalità di crittografia complete di MongoDB coprono i dati inattivi e i dati in transito, proteggendo i dati durante tutto il loro ciclo di vita. Lo schema flessibile di MongoDB consente alle istituzioni finanziarie di acquisire diversi requisiti di dati per gestire il consenso alla condivisione dei dati e di unificare il consenso degli utenti da diversi paesi in un unico data store, semplificando la conformità alle complesse leggi in materia di privacy dei dati. Inoltre, le funzionalità di geo-partizionamento di MongoDB consentono la conformità alle leggi sulla residenza dei dati garantendo che i dati pertinenti e le informazioni di consenso rimangano nel data center cloud più vicino, fornendo tempi di risposta ottimali per l'accesso ai dati. Per migliorare ulteriormente la privacy dei dati, MongoDB offre tecniche di crittografia a livello di appezzamento , consentendo la crittografia simmetrica a livello di campo per proteggere i dati sensibili (ad esempio le informazioni di identificazione personale) anche quando vengono condivisi con TPP. La crittografia casuale dei campi aggiunge un ulteriore livello di sicurezza e consente le operazioni di query sui dati crittografati. La tecnologia Queryable Encryption di MongoDB rafforza ulteriormente la sicurezza e difende dalla crittografia, garantendo che i dati dei clienti rimangano protetti e riservati all'interno dell'ecosistema di open banking. Monitoraggio delle attività Con numerose API offerte dalle banche nell'ecosistema open banking, il monitoraggio delle attività e la risoluzione dei problemi diventano aspetti critici per mantenere un'infrastruttura solida e sicura. MongoDB semplifica il monitoraggio delle attività attraverso i suoi strumenti dedicati e le sue funzionalità di controllo. Amministratori e utenti possono monitorare l'attività del sistema a livello granulare, controllando i sistemi di database e gli eventi delle applicazioni. MongoDB Atlas dispone di API di amministrazione da utilizzare per gestire in modo programmatico il service MongoDB Atlas. Ad esempio, è possibile utilizzare l'API di amministrazione di Atlas per creare distribuzioni di database, aggiungervi utenti, monitorarle e altro ancora. Queste API aiutano con l'automazione delle pipeline CI/CD e il monitoraggio delle attività sulla piattaforma di dati, consentendo agli sviluppatori e agli amministratori di liberarsi da questo lavoro banale e di concentrarsi sulla generazione di maggior valore aziendale. Gli strumenti di monitoraggio delle prestazioni, incluso il performance advisor, aiutano a valutare e ottimizzare le prestazioni del sistema, assicurando che le API offrano esperienze utente eccezionali. Figura 2: Monitoraggio delle attività su MongoDB Atlas MongoDB Atlas Charts , una funzionalità integrata di MongoDB Atlas, offre funzionalità di analisi e visualizzazione. Gli istituti finanziari possono creare dashboard di business intelligence utilizzando MongoDB Atlas Charts. In questo modo si elimina la necessità di costose licenze associate agli strumenti di business intelligence tradizionali, rendendola conveniente man mano che più TPP utilizzano le API. Con MongoDB Atlas Charts, gli istituti finanziari possono offrire dati di telemetria aziendale completi ai TPP, ad esempio il numero di preventivi assicurativi, le transazioni delle polizze, i volumi delle chiamate API e le metriche delle prestazioni. Questi insight consentono agli istituti finanziari di prendere decisioni basate sui dati, migliorare l'efficienza operativa e ottimizzare l'esperienza del cliente nell'ecosistema dell'open banking. Figura 3: Dashboard di esempio di Atlas Charts In tempo reale L'open banking introduce nuove sfide per gli istituti finanziari che vogliono servire e scalare in mezzo ai carichi di lavoro imprevedibili dei TPP. Mentre i contenuti statici pongono meno difficoltà, le API che richiedono aggiornamenti in tempo reale o streaming continuo, come i saldi dinamici dei conti o i punteggi di credito adeguati ai criteri ESG, richiedono funzionalità per la fornitura di dati quasi in tempo reale. Per consentire alle applicazioni di reagire immediatamente ai cambiamenti in tempo reale o alle modifiche non appena si verificano, le organizzazioni possono sfruttare MongoDB Change Streams , basati sul suo framework di aggregazione , per reagire alle modifiche dei dati in una singola collection, un database o un'intera distribuzione. Questa funzionalità migliora ulteriormente le capacità di elaborazione e analisi dei dati e degli eventi in tempo reale di MongoDB. MongoDB offre diversi meccanismi per supportare lo streaming di dati, tra cui un connettore Kafka per l'architettura basata sugli eventi e un connettore Spark per lo streaming con Spark. Queste soluzioni permettono agli istituti finanziari di soddisfare efficacemente le esigenze di dati in tempo reale dei loro partner di open banking, consentendo un'integrazione perfetta e la fornitura di dati in tempo reale per migliorare l'esperienza dei clienti. Conclusione Le capacità tecniche di MongoDB lo rendono un facilitatore chiave per gli istituti finanziari che intraprendono il loro percorso di open banking. Dalla gestione di ambienti dinamici a quella di carichi di lavoro imprevedibili, fino ad arrivare alla garanzia di scalabilità, disponibilità, sicurezza e privacy, MongoDB offre un set completo di strumenti e funzionalità per affrontare efficacemente le sfide dell'open banking. Con MongoDB come infrastruttura sottostante, gli istituti finanziari possono navigare con sicurezza nel mutevole panorama dell'open banking, fornendo soluzioni innovative e guidando il futuro del settore bancario. L'adozione di MongoDB consente agli istituti finanziari di sfruttare tutto il potenziale dell'open banking e offrire esperienze del cliente in quest'era di collaborazione e trasformazione digitale. Se desideri saperne di più su come sfruttare MongoDB per la tua infrastruttura di open banking, dai un'occhiata a queste risorse: Tavola rotonda sull'open banking: rendi la tua banca a prova di futuro in un mondo di dati e standard API in continua evoluzione con MongoDB, Celent, Icon Solutions e AWS In che modo un data mesh facilita l'open banking Hub dei servizi finanziari

June 6, 2023

Analizando la banca abierta con MongoDB: Desafíos técnicos y soluciones

Gracias a Ainhoa Múgica por sus contribuciones a esta publicación. Al desencadenar una ola disruptiva en la industria bancaria, la banca abierta (o finanzas abiertas), como el término indica, ha obligado a las instituciones financieras (bancos, aseguradoras, fintechs, corporaciones e incluso organismos gubernamentales) a abrazar una nueva era de transparencia, colaboración, e innovación. Este cambio de paradigma requiere que los bancos compartan abiertamente los datos de los clientes con proveedores externos (TPP), impulsando la experiencia del cliente y fomentando el desarrollo de soluciones innovadoras de tecnología financiera mediante la combinación de los productos y servicios “mejores de su clase”. En 2020, 24,7 millones de personas en todo el mundo utilizaban servicios de banca abierta, cifra que se pronostica que alcance 132,2 millones para 2024. Esta tendencia en alza alimenta la competencia, impulsa la innovación y fomenta las asociaciones entre los bancos tradicionales y las empresas ágiles de tecnología financiera. En este panorama transformador, MongoDB, una plataforma líder de datos para desarrolladores, desempeña un papel vital para apoyar la banca abierta al proporcionar una infraestructura segura, escalable y flexible para administrar y proteger los datos compartidos de los clientes. Al aprovechar la potencia de la tecnología de MongoDB, las instituciones financieras pueden reducir los costos, mejorar la experiencia del cliente y mitigar los riesgos potenciales asociados con el intercambio generalizado de datos de los clientes mediante el estricto cumplimiento regulatorio. Figura 1: Un ejemplo de arquitectura de banca abierta La esencia de la banca o las finanzas abiertas consiste en aprovechar los protocolos comunes de intercambio de datos para compartir datos y servicios financieros con terceros. En este blog, profundizaremos en los desafíos técnicos y las soluciones de la banca abierta desde una perspectiva de datos y servicios, y exploraremos cómo MongoDB empodera a las instituciones financieras para superar estos obstáculos y liberar todo el potencial de este ecosistema abierto. Entornos y estándares dinámicos A medida que los estándares de banca abierta continúan evolucionando, las instituciones financieras deben seguir adaptándose para cumplir con las cambiantes regulaciones y demandas de la industria. Las relational databases tradicionales a menudo tienen dificultades para mantenerse al día con los requisitos dinámicos de la banca abierta debido a sus esquemas rígidos que son difíciles de cambiar y administrar con el tiempo. En países que no cuentan con marcos estandarizados de banca abierta, los bancos y los proveedores externos se enfrentan al desafío de desarrollar múltiples versiones de API para integrarse con diferentes instituciones, lo que crea complejidad y dificulta la interoperabilidad. Afortunadamente, las normas o directrices de banca abierta (p. ej., Europa, Singapur, Indonesia, Hong Kong, Australia, etc.) generalmente han requerido o recomendado que las API abiertas sean RESTful y admitan el formato de datos JSON, lo que crea una base para el intercambio común de datos. MongoDB aborda estos desafíos con una plataforma de datos flexible para desarrolladores que admite de forma nativa el formato de datos JSON, simplifica el modelado de datos y permite cambios flexibles de esquemas para desarrolladores. Con características como la API de Datos de MongoDB los desarrolladores pueden reducir los esfuerzos de desarrollo y mantenimiento al exponer datos de manera sencilla mediante un enfoque de código bajo. La característica de API estable garantiza la compatibilidad durante las actualizaciones de bases de datos, evitando roturas de código y proporcionando una transición fluida. Además, MongoDB ofrece características que mejoran la productividad, como búsqueda de texto completo , visualización de datos , federación de datos , sincronización de mobile database y otros servicios de aplicaciones , lo que permite a los desarrolladores acelerar el tiempo de comercialización. Con las capacidades de MongoDB, las instituciones financieras y los proveedores externos pueden navegar el cambiante panorama de la banca abierta de manera más efectiva, fomentar la colaboración y ofrecer soluciones innovadoras a los clientes. Un ejemplo de un cliente que aprovecha la flexibilidad y la gestión de datos JSON nativa de MongoDB es Natwest. Natwest es un importante banco minorista y comercial del Reino Unido con sede en Londres, Inglaterra. El banco ha pasado de cero a 900 millones de llamadas a la API al mes en pocos años, a medida que crece la aceptación de la banca abierta y se espera que se multiplique por 10 en los próximos años. En un evento de MongoDB el 15 de noviembre de 2022, Jonathan Haggarty, director de Tecnología del “Banco de API” de Natwest (un ecosistema de API que pone los servicios del banco minorista a disposición de los socios) compartió en su presentación titulada Driving Customer Value using API Data (Impulsar el valor del cliente utilizando datos de API) que el creciente ecosistema de API de Natwest le permite “introducir un montón de datos JSON en MongoDB [lo que facilita] pasar de información simple a bastante compleja” y también facilita ofuscar los detalles del usuario a través del enmascaramiento de datos para la privacidad del cliente. Natwest puede ofrecer a sus socios, a través de su ecosistema de API, información sobre los datos de los clientes, por ejemplo, “dónde se encuentran los clientes en el espectro del comercio electrónico”, el “mejor momento para que los minoristas ofrezcan descuentos”, así como información sobre los “clientes más valiosos”; utilizando datos para la resolución de problemas, análisis e información, y generación de informes. Rendimiento En el dinámico panorama de la banca abierta, es crucial satisfacer las demandas impredecibles de rendimiento, escalabilidad y disponibilidad. La eficiencia de las aplicaciones y la experiencia general del cliente dependen fuertemente de la capacidad de respuesta de las API. Sin embargo, construir una plataforma de banca abierta se vuelve complicado cuando se acomoda a proveedores externos con requisitos comerciales y técnicos no divulgados. Sin una gestión cuidadosa, esto puede generar problemas de rendimiento imprevistos y mayores costos. La banca abierta exige un alto rendimiento de las API en todo tipo de volúmenes de carga de trabajo. OBIE recomienda un TTLB promedio (tiempo hasta el último byte) de 750 ms por respuesta de terminal para todas las invitaciones de pago (excepto pagos de archivos) y API de información de cuenta. El cumplimiento de los acuerdos de nivel de servicio regulatorio (SLA) en ciertas jurisdicciones aumenta aún más la complejidad. Las arquitecturas y bases de datos heredadas a menudo tienen dificultades para cumplir con estos criterios exigentes, lo que requiere grandes cambios para garantizar la escalabilidad y un rendimiento óptimo. Ahí es donde entra en juego MongoDB. MongoDB está diseñado específicamente para ofrecer un rendimiento excepcional con su motor de almacenamiento WiredTiger y sus capacidades de compresión. Además, MongoDB Atlas mejora el rendimiento siguiendo sus sugerencias inteligentes de índice y esquema, organización automática de datos en niveles y aislamiento de cargas de trabajo para análisis. Un ejemplo destacado de sus capacidades lo demuestra Temenos, un reconocido proveedor de aplicaciones de servicios financieros, al lograr un rendimiento y una eficiencia de procesamiento de volumen de transacciones notables con MongoDB Atlas. Recientemente ejecutaron una evaluación comparativa con MongoDB Atlas y Microsoft Azure, y procesaron con éxito la asombrosa cifra de 200 millones de préstamos financieros integrados y 100 millones de cuentas minoristas a una velocidad récord de 150 000 transacciones por segundo . Esto muestra el poder y la escalabilidad de MongoDB con un rendimiento incomparable para capacitar a las instituciones financieras para enfrentar de manera efectiva los desafíos que plantea la banca abierta. MongoDB garantiza performance, escalabilidad y disponibilidad excepcionales para satisfacer las demandas cambiantes de la industria. Escalabilidad Construir una plataforma para brindar servicio a los TPP, que pueden no revelar sus usos comerciales y requisitos técnicos y de rendimiento, puede introducir problemas impredecibles de rendimiento y costos si no se gestionan con cuidado. Por ejemplo, un banco de Singapur se enfrentó a un problema en el que sus API abiertas experimentaban picos de carga y caídas todos los miércoles. Tras una investigación, descubrieron que uno de los TPP ejecutaba una campaña promocional todos los miércoles, lo que provocaba una oleada de llamadas a la API que desbordaba la infraestructura del banco. Además de cumplir los requisitos de rendimiento de un determinado volumen conocido de transacciones, es fundamental disponer de una solución escalable que pueda funcionar con cargas de trabajo impredecibles. La arquitectura flexible y las características de escalabilidad de MongoDB abordan estas preocupaciones de manera efectiva. Con su modelo de datos distribuido basado en documentos, MongoDB permite un escalamiento fluido tanto vertical como horizontalmente. Al aprovechar la fragmentación , los datos se pueden distribuir en múltiples nodos, lo que garantiza una utilización eficiente de los recursos y permite que el sistema trate grandes volúmenes de transacciones sin comprometer el rendimiento. La capacidad de fragmentación automática de MongoDB permite un escalamiento dinámico a medida que crece la carga de trabajo, lo que brinda a las instituciones financieras la flexibilidad para adaptarse a las demandas cambiantes y garantiza una infraestructura de banca abierta fluida y escalable. Disponibilidad En el ámbito de la banca abierta, la disponibilidad se convierte en un desafío crítico. Con una mayor dependencia de los servicios bancarios por parte de proveedores externos (TPP), garantizar una disponibilidad constante se vuelve más complejo. Anteriormente, los bancos podían cerrar ciertos servicios por mantenimiento durante las horas de menor actividad. Sin embargo, como los TPP ofrecen experiencias 24x7, cualquier tiempo de inactividad es inaceptable. Esto ejerce una mayor presión sobre los bancos para mantener una disponibilidad constante para los servicios de API abierta, incluso durante las ventanas de mantenimiento planificadas o eventos imprevistos. MongoDB Atlas, el servicio global de base de datos en cloud totalmente gestionado, aborda estos desafíos de disponibilidad con eficacia. Con sus capacidades de clúster multinodo y DBaaS multicloud, MongoDB Atlas garantiza una alta disponibilidad y tolerancia ante fallos. Ofrece la flexibilidad de ejecutarse en múltiples proveedores de cloud líderes, lo que permite a los bancos minimizar el riesgo de concentración y lograr una mayor disponibilidad a través de un clúster distribuido en diferentes plataformas de cloud. Los sólidos mecanismos de replicación y conmutación por error que ofrece MongoDB Atlas garantizan un servicio ininterrumpido y permiten a las instituciones financieras ofrecer API de banca abierta fiables y siempre disponibles a sus clientes y TPP. Seguridad y privacidad La seguridad de los datos y la gestión del consentimiento son preocupaciones primordiales para los bancos que participan en la banca abierta. La exposición de los mecanismos de autenticación y autorización a proveedores externos plantea problemas de seguridad e introduce complejidades técnicas en relación con la protección de datos. Los bancos requieren mecanismos detallados de control de acceso y cifrado para salvaguardar los datos compartidos, incluida la gestión del consentimiento para compartir datos a nivel granular. Además, los bancos deben navegar por el panorama de las leyes de privacidad de datos como el Reglamento General de Protección de Datos (GDPR), que imponen requisitos estrictos distintos de las regulaciones bancarias tradicionales. MongoDB ofrece una gama de soluciones para abordar estos desafíos de seguridad y privacidad de manera efectiva. Queryable Encryption proporciona un mecanismo para administrar datos cifrados dentro de MongoDB, lo que garantiza que la información confidencial permanezca segura incluso cuando se comparte con proveedores externos. Las características de cifrado integrales de MongoDB cubren los datos en reposo y los datos en tránsito, por lo que se protegen los datos a lo largo de su ciclo de vida. El esquema flexible de MongoDB permite a las instituciones financieras capturar diversos requisitos de datos para gestionar el consentimiento de intercambio de datos y unificar el consentimiento de los usuarios de diferentes países en un único almacén de datos, lo que simplifica el cumplimiento de las complejas leyes de privacidad de datos. Además, las capacidades de geofragmentación de MongoDB permiten el cumplimiento de las leyes de residencia de datos al garantizar que los datos y la información de consentimiento relevantes permanezcan en el centro de datos en cloud más cercano, al tiempo que proporcionan tiempos de respuesta óptimos para acceder a los datos. Para mejorar aún más la privacidad de los datos, MongoDB ofrece técnicas de cifrado a nivel de campo , lo que permite usar cifrado simétrico a nivel de campo para proteger los datos confidenciales (p. ej., información personal identificable) incluso cuando se comparten con TPP. El cifrado aleatorio de los campos agrega una capa adicional de seguridad y permite realizar operaciones de consulta en los datos cifrados. La técnica Queryable Encryption de MongoDB fortalece aún más la seguridad y protege contra el criptoanálisis, lo que garantiza que los datos de los clientes permanezcan protegidos y confidenciales dentro del ecosistema de banca abierta. Monitoreo de actividades Con las numerosas API ofrecidas por los bancos en el ecosistema de banca abierta, el monitoreo de la actividad y la resolución de problemas se convierten en aspectos críticos para mantener una infraestructura sólida y segura. MongoDB simplifica el seguimiento de la actividad a través de sus herramientas de seguimiento y capacidades de auditoría. Los administradores y usuarios pueden rastrear la actividad del sistema a nivel granular, monitoreando el sistema de base de datos y los eventos de las aplicaciones. MongoDB Atlas tiene API de administración , que se pueden usar para gestionar programáticamente el servicio de Atlas. Por ejemplo, se puede utilizar la API de administración de Atlas para crear implementaciones de bases de datos, agregarles usuarios, monitorearlas y más. Estas API pueden ayudar con la automatización de los pipelines de CI/CD, así como con el monitoreo de las actividades en la plataforma de datos, lo que permite a los desarrolladores y administradores liberarse de este esfuerzo mundano y enfocarse en generar más valor comercial. Las herramientas de monitoreo del rendimiento, incluido el asesor de desempeño, ayudan a medir y optimizar el rendimiento del sistema, garantizando que las API brinden experiencias de usuario excepcionales. Figura 2: Monitoreo de actividades en MongoDB Atlas MongoDB Atlas Charts , una característica integrada de MongoDB Atlas, ofrece capacidades de análisis y visualización. Las instituciones financieras pueden crear paneles de inteligencia de negocio con MongoDB Atlas Charts. Esto elimina la necesidad de pagar por las costosas licencias asociadas con las herramientas tradicionales de inteligencia de negocio, lo que lo vuelve más rentable a medida que más TPP usan las API. Con MongoDB Atlas Charts, las instituciones financieras pueden ofrecer datos completos de telemetría empresarial a los TPP, como la cantidad de cotizaciones de seguros, las transacciones de pólizas, los volúmenes de llamadas a la API y las métricas de rendimiento. Esta información permite a las instituciones financieras tomar decisiones basadas en datos, mejorar la eficiencia operativa y optimizar la experiencia del cliente en el ecosistema de banca abierta. Figura 3: Panel de muestra de Atlas Charts Funcionamiento en tiempo real La banca abierta presenta nuevos desafíos para las instituciones financieras a medida que se esfuerzan por servir y escalar en medio de cargas de trabajo impredecibles de TPP. Si bien el contenido estático presenta menos dificultades, las API que requieren actualizaciones en tiempo real o transmisión continua, como saldos dinámicos de cuentas o calificaciones de crédito ajustadas a ESG, exigen capacidades para entregar datos casi en tiempo real. Para permitir que las aplicaciones reaccionen inmediatamente a cambios en tiempo real o a medida que ocurren, las organizaciones pueden aprovechar MongoDB Change Streams que se basan en su marco de agregación para reaccionar a los cambios en los datos en una sola colección, una base de datos o incluso una implementación completa. Esta capacidad mejora aún más las capacidades de procesamiento y análisis de eventos y datos en tiempo real de MongoDB. MongoDB ofrece varios mecanismos para admitir la transmisión de datos, incluido un conector de Kafka para la arquitectura basada en eventos y un conector de Spark para la transmisión con Spark. Estas soluciones permiten a las instituciones financieras satisfacer las necesidades de datos en tiempo real de sus socios de banca abierta de manera efectiva, lo que permite una integración fluida y la entrega de datos en tiempo real para mejorar las experiencias de los clientes. Conclusión Las capacidades técnicas de MongoDB lo posicionan como un facilitador clave para las instituciones financieras que se embarcan en su recorrido hacia la banca abierta. Desde gestionar entornos dinámicos y adaptar cargas de trabajo impredecibles hasta garantizar la escalabilidad, disponibilidad, seguridad y privacidad, MongoDB ofrece un conjunto completo de herramientas y características para abordar los desafíos de la banca abierta de manera eficaz. Al tener MongoDB como su infraestructura subyacente, las instituciones financieras pueden navegar el cambiante panorama de la banca abierta con confianza, y ofrecer soluciones innovadoras e impulsar el futuro de las operaciones bancarias. Adoptar MongoDB empodera a las instituciones financieras para liberar todo el potencial de la banca abierta y brindar experiencias excepcionales a los clientes en esta era de colaboración y transformación digital. Si desea obtener más información sobre cómo puede aprovechar MongoDB para su infraestructura de banca abierta, eche un vistazo a los siguientes recursos: Panel de discusión sobre banca abierta: Asegure el futuro de su banco en un mundo de cambiantes estándares de datos y API con MongoDB, Celent, Icon Solutions y AWS Cómo una malla de datos facilita la banca abierta Centro de servicios financieros

June 6, 2023

Analyse von Open Banking mit MongoDB: Technische Herausforderungen und deren Lösungen

Danke an Ainhoa Múgica für ihre Beiträge zu diesem Artikel. Open Banking (oder Open Finance) hat eine bahnbrechende Welle im Bankensektor ausgelöst und zwingt die Finanzinstitute (Banken, Versicherer, Fintechs, Konzerne und sogar Regierungsbehörden), sich auf eine neue Ära der Transparenz, Zusammenarbeit und Innovation einzulassen. Dieser Paradigmenwechsel erfordert, dass Banken Kundendaten offen mit Drittanbietern (TPPs) austauschen, um das Kundenerlebnis zu verbessern und die Entwicklung innovativer Fintech-Lösungen zu fördern, indem „Best-of-Breed“-Produkte und -Dienstleistungen kombiniert werden. 2020 nutzten weltweit 24,7 Millionen Menschen Open-Banking-Dienste. Diese Zahl wird bis 2024 voraussichtlich auf 132,2 Millionen ansteigen. Dieser wachsende Trend treibt den Wettbewerb voran, spornt zu Innovationen an und begünstigt Partnerschaften zwischen traditionellen Banken und agilen Fintech-Unternehmen. In einer sich derartig wandelnden Landschaft spielt die führende Entwickler-Datenplattform MongoDB eine wichtige Rolle bei der Unterstützung von Open Banking. Hierzu stellt das Unternehmen eine sichere, skalierbare und flexible Infrastruktur für die Verwaltung und den Schutz gemeinsamer Kundendaten bereit. Durch Nutzung der leistungsstarken MongoDB-Technologie können Finanzinstitute ihre Kosten senken, das Kundenerlebnis verbessern und die potenziellen Risiken, die mit der weit verbreiteten Weitergabe von Kundendaten verbunden sind, durch strikte Einhaltung gesetzlicher Vorschriften mindern. Abbildung 1: Beispiel für eine Open-Banking-Architektur Beim Open Banking/Finance geht es im Wesentlichen darum, gemeinsame Datenaustauschprotokolle zu nutzen, um Finanzdaten und -dienste mit Dritten auszutauschen. In diesem Blog werden wir uns mit den technischen Herausforderungen und Lösungen von Open Banking in Bezug auf Daten und Datendienste befassen und untersuchen, wie MongoDB Finanzinstituten dabei hilft, diese Hindernisse zu überwinden und das volle Potenzial dieses offenen Ökosystems zu erschließen. Dynamische Umgebungen und Standards Da sich Open-Banking-Standards ständig weiterentwickeln, müssen Finanzinstitute anpassungsfähig bleiben, sodass sie den veränderlichen Vorschriften und Branchenanforderungen gerecht werden. Herkömmliche relationale Datenbanken können aufgrund ihrer starren Schemata, die sich auf Dauer nur schwer ändern und verwalten lassen, oft nicht mit den dynamischen Anforderungen von Open Banking Schritt halten. In Ländern ohne standardisierte Open-Banking-Frameworks stehen Banken und Drittanbieter vor der Herausforderung, mehrere API-Versionen zu entwickeln, die sich in die verschiedenen Institutionen integrieren lassen müssen. Dies führt zu Komplexität und behindert die Interoperabilität. Glücklicherweise verlangen oder empfehlen Open-Banking-Standards oder -Richtlinien (z. B. in Europa, Singapur, Indonesien, Hongkong, Australien usw.) generell, dass es sich bei offenen APIs um RESTful APIs handelt und dass diese das JSON-Datenformat unterstützen, wodurch eine Grundlage für den gemeinsamen Datenaustausch entsteht. MongoDB begegnet diesen Herausforderungen, indem es eine flexible Entwicklerdatenplattform bietet , die das JSON-Datenformat nativ unterstützt, die Datenmodellierung vereinfacht und flexible Schemaänderungen für Entwickler ermöglicht. Mit Funktionen wie der MongoDB-Daten-API und der können Entwickler den Entwicklungs- und Wartungsaufwand reduzieren, indem sie Daten mit wenig Programmieraufwand zugänglich machen. Die Stable-API -Funktion gewährleistet die Kompatibilität bei Datenbank-Upgrades, verhindert Code-Beschädigungen und sorgt für einen nahtlosen Übergang. Darüber hinaus bietet MongoDB produktivitätssteigernde Funktionen wie Volltextsuche , Datenvisualisierung , Data Federation , mobile Datenbank-Synchronisierung und sonstige App-Dienste , mit denen Entwickler die Dauer bis zur Vermarktung verkürzen können. Mit den Funktionen von MongoDB können Finanzinstitute und Drittanbieter die sich verändernde Open-Banking-Landschaft effektiver bewältigen, die Zusammenarbeit fördern und ihren Kunden innovative Lösungen anbieten. Ein Beispiel für einen Kunden, der das native JSON-Datenmanagement und die Flexibilität von MongoDB nutzt, ist Natwest. Natwest ist eine große Einzelhandels- und Handelsbank in Großbritannien mit Sitz in London, England. Die Bank hat sich innerhalb von Jahren von null auf 900 Millionen API-Aufrufe pro Monat gewandelt, da Open Banking wächst und sich in den kommenden Jahren noch um das 10-Fache steigern wird. Bei einem MongoDB-Event am 15. November 2022 hat Jonathan Haggarty, Leiter der „Bank of APIs“-Technologie von Natwest, – einem API-Ökosystem, das die Services der Einzelhandelsbank an Partner weitergibt –, in seiner Präsentation „ Den Kunden-Mehrwert mit API-Daten steigern “ erläutert, dass das wachsende API-Ökosystem von Natwest es ermöglicht hat, „einige JSON-Daten nach MongoDB zu verschieben [was es erleichtert], von einfachen auf ziemlich komplexe Informationen umzustellen“ und die Benutzerdetails durch Datenmaskierung im Kunden-Datenschutz viel einfacher zu verschleiern. Natwest ist in der Lage, über sein API-Ökosystem Einblicke in Kundendaten für Partner bereitzustellen, z. B., „wo Kunden im E-Commerce-Spektrum tätig sind“, die „beste Zeit [für Einzelhändler], um Rabatte zu bieten“ sowie Einblicke in „die wichtigsten Kunden“ – wobei Daten zur Problemlösung, für Analysen und Erkenntnisse sowie für Berichte verwendet werden. Leistung In der dynamischen Landschaft des Open Banking ist es von entscheidender Bedeutung, die unvorhersehbaren Anforderungen an Leistung, Skalierbarkeit und Verfügbarkeit zu erfüllen. Die Effizienz der Anwendungen und das gesamte Kundenerlebnis hängen stark von der Reaktionsfähigkeit von APIs ab. Der Aufbau einer Open-Banking-Plattform wird jedoch kompliziert, wenn Drittanbieter beauftragt werden, denen die geschäftlichen und technischen Anforderungen nicht bekannt sind. Ohne sorgfältiges Management kann dies zu unvorhergesehenen Leistungsproblemen und erhöhten Kosten führen. Open Banking erfordert für die unterschiedlichen Workload-Mengen APIs mit hoher Leistung. OBIE empfiehlt für alle Zahlungsaufforderungen (mit Ausnahme von Mehrfachzahlungen) und Kontoinformations-APIs eine durchschnittliche Time to Last Byte (TTLB) von 750 ms pro Endpunktantwort. Die Compliance mit regulatorischen Service Level Agreements (SLAs) in bestimmten Rechtsordnungen erhöht die Komplexität zusätzlich. Veraltete Architekturen und Datenbanken haben oft das Problem, dass sie diese anspruchsvollen Kriterien nicht erfüllen können und erfordern umfangreiche Änderungen, um Skalierbarkeit und optimale Leistung zu gewährleisten. Hier kommt MongoDB ins Spiel. MongoDB wurde speziell entwickelt, um mit seiner WiredTiger-Speicher-Engine und seinen Komprimierungsfunktionen außergewöhnliche Leistungen zu bieten. Darüber hinaus verbessert MongoDB Atlas die Leistung aufgrund seiner intelligenten Index- und Schemavorschläge, aufgrund der automatischen Datenkontingentierung und aufgrund der Workload-Isolierung für Analysen. Ein gutes Beispiel für seine Fähigkeiten ist Temenos, ein renommierter Anbieter für Finanzdienstleistungsanwendungen, der durch MongoDB Atlas bemerkenswerte Leistung und Effizienz bei der Verarbeitung eines großen Transaktionsvolumens erzielen konnte. Das Unternehmen hat vor Kurzem ein Benchmarking mit MongoDB Atlas und Microsoft Azure durchgeführt und erfolgreich unglaubliche 200 Millionen eingebettete Finanzkredite und 100 Millionen Einzelhandelskonten mit rekordverdächtigen 150.000 Transaktionen pro Sekunde verarbeitet . Dies zeugt von der beispiellosen Leistungsfähigkeit und Skalierbarkeit von MongoDB, mit der Finanzinstitute die Herausforderungen des Open Banking effektiv bewältigen können. MongoDB gewährleistet herausragende Leistung, Skalierbarkeit und Verfügbarkeit, um den sich ständig ändernden Anforderungen der Branche gerecht zu werden. Skalierbarkeit Der Aufbau einer Plattform für Drittanbieter (TTPs), die den betrieblichen Verwendungszweck und die technischen/Leistungsanforderungen ggf. nicht offenlegen, kann bei unbedachter Vorgehensweise zu unvorhersehbaren Leistungs- und Kostenproblemen führen. Eine Bank in Singapur sah sich beispielsweise mit dem Problem konfrontiert, dass ihre Open APIs jeden Mittwoch Spitzenlasten und Abstürze erlebten. Nach einer Untersuchung stellte man fest, dass einer der Drittanbieter jeden Mittwoch eine Werbekampagne durchführte, was zu einer Flut von API-Aufrufen führte und die Infrastruktur der Bank überlastete. Eine skalierbare Lösung, die auch unter unvorhersehbaren Workloads funktioniert, ist von entscheidender Bedeutung, da sie nicht nur die Leistungsanforderungen eines bestimmten bekannten Transaktionsvolumens erfüllt. Die flexiblen Architektur- und Skalierbarkeitsfunktionen von MongoDB beheben eine solche Situation effektiv. Mit seinem verteilten, dokumentenbasierten Datenmodell ermöglicht MongoDB eine nahtlose Skalierung sowohl in vertikaler als auch horizontaler Richtung. Durch Einsatz der Sharding -Funktion können Daten auf mehrere Knoten verteilt werden, wodurch eine effiziente Ressourcennutzung gewährleistet und das System in die Lage versetzt wird, hohe Transaktionsvolumina ohne Leistungseinbußen zu bewältigen. Die Auto-Sharding-Funktion von MongoDB ermöglicht die dynamische Skalierung bei steigendem Workload und bietet Finanzinstituten die Flexibilität, sich an wechselnde Anforderungen anzupassen und eine reibungslose und skalierbare Open-Banking-Infrastruktur zu gewährleisten. Verfügbarkeit Im Bereich Open Banking ist die Verfügbarkeit eine kritische Herausforderung geworden. Mit zunehmender Abhängigkeit von Bankdienstleistungen durch Drittanbieter (TPPs) wird die Gewährleistung einer gleichbleibend guten Verfügbarkeit immer schwieriger. Bisher konnten Banken bestimmte Dienste außerhalb der Spitzenzeiten für Wartungsarbeiten herunterfahren. Da TPPs jedoch 24/7-Erlebnisse bieten, sind Ausfallzeiten inakzeptabel. Dies erhöht den Druck auf Banken, die Verfügbarkeit von Open-API-Diensten auch während geplanter Wartungsfenster oder unvorhergesehener Ereignisse konstant aufrechtzuerhalten. MongoDB Atlas, der vollständig verwaltete globale Cloud-Datenbankdienst, löst das Problem der Verfügbarkeit effektiv. Mit seinen Funktionen aus Mehrknoten-Clustern und Multi-Cloud-DBaaS gewährleistet MongoDB Atlas eine hohe Verfügbarkeit und Fehlertoleranz. Dies bietet die Flexibilität, auf mehreren führenden Cloud-Anbietern zu laufen, damit Banken das Konzentrationsrisiko senken und durch einen über verschiedene Cloud-Plattformen verteilten Cluster eine höhere Verfügbarkeit erreichen. Die robusten Replikations - und Failover-Mechanismen von MongoDB Atlas garantieren einen unterbrechungsfreien Service und ermöglichen es Finanzinstituten, ihren Kunden und TPPs zuverlässige und stets verfügbare Open-Banking-APIs bereitzustellen. Sicherheit und Datenschutz Datensicherheit und Einwilligungsmanagement sind für Banken, die am Open Banking teilnehmen, von größter Bedeutung. Die Offenlegung von Authentifizierungs- und Autorisierungsmechanismen gegenüber Drittanbietern wirft Sicherheitsbedenken auf und führt zu technischen Komplikationen in Datenschutzangelegenheiten. Banken benötigen eine fein abgestufte Zugangskontrolle sowie Verschlüsselungsmechanismen, um die gemeinsam genutzten Daten zu schützen. Hierunter fällt auch, die Einwilligung zur gemeinsamen Nutzung von Daten auf detailliertester Ebene zu verwalten. Darüber hinaus müssen sich Banken in der Landschaft von Datenschutzgesetzen wie beispielsweise der Datenschutz-Grundverordnung (DSGVO) auskennen, deren strenge Anforderungen sich von den traditionellen Bankvorschriften unterscheiden. MongoDB hält eine Reihe von Lösungen parat , die auf diese Sicherheits- und Datenschutzherausforderungen effektiv eingehen. Queryable Encryption bietet einen Mechanismus zur Verwaltung verschlüsselter Daten in MongoDB, der sicherstellt, dass vertrauliche Informationen auch dann sicher bleiben, wenn sie an Drittanbieter weitergegeben werden. Die umfassenden Verschlüsselungsfunktionen von MongoDB decken ruhende und übertragene Daten ab und schützen Daten während ihres gesamten Lebenszyklus. Das flexible Schema von MongoDB ermöglicht es Finanzinstituten, unterschiedliche Datenanforderungen zur Verwaltung der Datenfreigabe-Einwilligung zu erfassen und die Benutzereinwilligung aus verschiedenen Ländern in einem einzigen Datenspeicher zu vereinen, was die Einhaltung komplexer Datenschutzgesetze vereinfacht. Darüber hinaus ermöglichen die Geo-Sharding -Funktionen von MongoDB die Einhaltung von Gesetzen zur Datenresidenz, indem sie sicherstellen, dass relevante Daten und Einwilligungsinformationen im nächstgelegenen Cloud-Datenzentrum verbleiben und gleichzeitig optimale Reaktionszeiten für den Datenzugang bieten. Um den Datenschutz weiter zu verbessern, bietet MongoDB Verschlüsselungstechniken auf Feldebene an, die eine symmetrische Verschlüsselung auf Feldebene ermöglichen. Damit ist es möglich, sensible Daten (z. B. personenbezogene Daten) auch dann zu schützen, wenn sie an TPPs weitergeleitet werden. Die Verschlüsselung von Feldern nach dem Zufallsprinzip bietet eine zusätzliche Sicherheitsebene und ermöglicht Abfrageoperationen zu den verschlüsselten Daten. Die Queryable Encryption-Technik von MongoDB erhöht die Sicherheit weiter und schützt vor Kryptoanalysen, wodurch sichergestellt wird, dass Kundendaten innerhalb des Open-Banking-Ökosystems geschützt werden und vertraulich bleiben. Aktivitätsüberwachung Angesichts der zahlreichen APIs, die von den Banken im Open-Banking-Ökosystem angeboten werden, gestalten sich die Überwachung der Aktivitäten und die Fehlerbehebung als entscheidende Aspekte, um eine robuste und sichere Infrastruktur aufrechtzuerhalten. MongoDB vereinfacht durch seine Überwachungstools und Prüffunktionen die Aktivitätsüberwachung. Administratoren und Benutzer können die Systemaktivität auf einer detaillierten Ebene verfolgen und Ereignisse im Datenbanksystem und in den Anwendungen überwachen. MongoDB Atlas verfügt über Administration APIs , mit denen Sie den Atlas-Service programmgesteuert verwalten können. Die Atlas Administration APIs lassen sich unter anderem dazu verwenden, Datenbanken bereitzustellen, Benutzer zu diesen Bereitstellungen hinzuzufügen oder diese Bereitstellungen zu überwachen. Diese APIs können bei der Automatisierung von CI-/CD-Pipelines sowie bei der Überwachung der Aktivitäten auf der Datenplattform helfen, sodass Entwickler und Administratoren von dieser monotonen Arbeit befreit werden und sich auf die Generierung von mehr Geschäftswert konzentrieren können. Leistungsüberwachungstools einschließlich des Leistungsberaters helfen bei der Messung und Optimierung der Systemleistung und stellen sicher, dass APIs außergewöhnliche Benutzererlebnisse bieten. Abbildung 2: Aktivitätsüberwachung auf MongoDB Atlas MongoDB Atlas Charts , eine integrierte Funktion von MongoDB Atlas, bietet Analyse- und Visualisierungsfunktionen. Finanzinstitute können mit MongoDB Atlas Charts Business-Intelligence-Dashboards erstellen. Dadurch entfällt die Notwendigkeit einer teuren Lizenzierung, wie sie bei herkömmlichen Business-Intelligence-Tools erforderlich ist, und macht die Nutzung der APIs kostengünstig, da diese von immer mehr TPPs genutzt werden. Mit MongoDB Atlas Charts können Finanzinstitute TPPs umfassende Telemetriedaten zur Verfügung stellen, z. B. die Anzahl der Versicherungsangebote, Policen-Transaktionen, API-Aufrufe und Leistungskennzahlen. Diese Erkenntnisse ermöglichen es den Finanzinstituten, datengestützte Entscheidungen zu treffen, die betriebliche Effizienz zu steigern und das Kundenerlebnis im Open-Banking-Ökosystem zu optimieren. Abbildung 3: Dashboard-Beispiel für Atlas Charts Echtzeitigkeit Open Banking stellt Finanzinstitute vor neue Herausforderungen, wenn diese versuchen, inmitten von unvorhersehbaren Workloads durch Drittanbieter ihre Kunden zu bedienen und ihre Systeme zu skalieren. Während statische Inhalte weniger Schwierigkeiten bereiten, erfordern APIs, die Echtzeit-Updates oder kontinuierliches Streaming voraussetzen – wie z. B. dynamische Kontostände oder ESG-angepasste Kreditbewertungen – die Fähigkeit, Daten nahezu in Echtzeit bereitzustellen. Damit Anwendungen sofort auf Echtzeit- oder auftretende Änderungen reagieren, können Unternehmen MongoDB Change Streams nutzen, die auf dem Aggregationsframework von MongoDB basieren. Hierdurch kann auf Datenänderungen in einer einzelnen Collection, einer Datenbank oder sogar einer gesamten Bereitstellung reagiert werden. Diese Funktion verbessert die Fähigkeiten von MongoDB, Echtzeitdaten und Ereignisse zu verarbeiten und zu analysieren. MongoDB bietet mehrere Mechanismen zur Unterstützung des Daten-Streamings, unter anderem einen Kafka-Connector für ereignisgesteuerte Architektur und einen Spark-Connector für das Streaming über Spark. Diese Lösungen ermöglichen es Finanzinstituten, die Echtzeit-Datenanforderungen ihrer Open-Banking-Partner effektiv zu erfüllen, für eine nahtlose Integration und Echtzeit-Datenbereitstellung zu sorgen und ein verbessertes Kundenerlebnis zu schaffen. Fazit Aufgrund seiner technischen Fähigkeiten ist MongoDB ein wichtiger Wegbereiter für Finanzinstitute, die ihre Open-Banking-Reise antreten wollen. Von der Verwaltung dynamischer Umgebungen und der Bewältigung unvorhersehbarer Workloads bis hin zur Gewährleistung von Skalierbarkeit, Verfügbarkeit, Sicherheit und Datenschutz bietet MongoDB eine umfassende Reihe von Tools und Funktionen, um die Herausforderungen des Open Banking effektiv zu meistern. Mit MongoDB als zugrundeliegender Infrastruktur können Finanzinstitute mit Zuversicht in der sich ständig weiterentwickelnden Open-Banking-Landschaft navigieren, innovative Lösungen anbieten und die Zukunft des Bankwesens vorantreiben. Durch den Einsatz von MongoDB können Finanzinstitute das volle Potenzial von Open Banking ausschöpfen und ihren Kunden im Zeitalter der Zusammenarbeit und des digitalen Wandels außergewöhnliche Erlebnisse bieten. Wenn Sie mehr darüber erfahren möchten, wie Sie MongoDB für Ihre Open-Banking-Infrastruktur nutzen können, werfen Sie einen Blick auf die folgenden Ressourcen: Podiumsdiskussion zum Thema Open Banking: Zukunftssicherheit für Ihre Bank in einer Welt der sich verändernden Daten und API-Standards; mit MongoDB, Celent, Icon Solutions und AWS So vereinfacht ein Datennetz das Open Banking Finanzdienstleistungszentrale

June 6, 2023

Dissecting Open Banking with MongoDB: Technical Challenges and Solutions

This post is also available in: Deutsch , Français , Español , Português , Italiano , 한국어 , 简体中文 . Thank you to Ainhoa Múgica for her contributions to this post. Unleashing a disruptive wave in the banking industry, open banking (or open finance), as the term indicates, has compelled financial institutions (banks, insurers, fintechs, corporates, and even government bodies) to embrace a new era of transparency, collaboration, and innovation. This paradigm shift requires banks to openly share customer data with third-party providers (TPPs), driving enhanced customer experiences and fostering the development of innovative fintech solutions by combining ‘best-of-breed’ products and services. As of 2020, 24.7 million individuals worldwide used open banking services, a number that is forecast to reach 132.2 million by 2024. This rising trend fuels competition, spurs innovation, and fosters partnerships between traditional banks and agile fintech companies. In this transformative landscape, MongoDB, a leading developer data platform, is vital in supporting open banking by providing a secure, scalable, and flexible infrastructure for managing and protecting shared customer data. By harnessing the power of MongoDB's technology, financial institutions can lower costs, improve customer experiences, and mitigate the potential risks associated with the widespread sharing of customer data through strict regulatory compliance. Figure 1: Example of an open banking architecture The essence of open banking/finance is about leveraging common data exchange protocols to share financial data and services with 3rd parties. In this blog, we will dive into the technical challenges and solutions of open banking from a data and data services perspective and explore how MongoDB empowers financial institutions to overcome these obstacles and unlock the full potential of this open ecosystem. Dynamic environments and standards As open banking standards evolve, financial institutions must remain adaptable to meet changing regulations and industry demands. Traditional relational databases often struggle to keep pace with the dynamic requirements of open banking due to their rigid schemas that are difficult to change and manage over time. In countries without standardized open banking frameworks, banks and third-party providers face the challenge of developing multiple versions of APIs to integrate with different institutions, creating complexity and hindering interoperability. Fortunately, open banking standards or guidelines (eg. Europe, Singapore, Indonesia, Hong Kong, Australia, etc.) have generally required or recommended that the open APIs be RESTful and support JSON data format, which creates a basis for common data exchange. MongoDB addresses these challenges by offering a flexible modern database that natively supports JSON data format, simplifies data modeling, and enables flexible schema changes for developers. With MongoDB’s wide range of idiomatic drivers and libraries , developers can easily access MongoDB using their own programming language. The Stable API feature ensures compatibility during database upgrades, preventing code breaks and providing a seamless transition. Additionally, MongoDB provides productivity-boosting features like full-text search , vector search , data visualization , and data federation to empower developers with a rich suite of capabilities unified on a single data platform. This enables financial institutions and third-party providers to roll out new features more rapidly and capture opportunities in the changing open banking landscape more effectively and timely. An example of a client who leverages MongoDB’s native JSON data management and flexibility is Natwest. Natwest is a major retail and commercial bank in the United Kingdom-based in London, England. The bank has moved from zero to 900 million API calls per month within years as open banking uptake grows and is expected to grow ten times in the coming years. At a MongoDB event on 15 Nov 2022, Jonathan Haggarty, Natwest’s Head of “Bank of APIs” Technology – an API ecosystem that brings the retail bank’s services to partners – shared in his presentation titled Driving Customer Value using API Data that Natwest’s growing API ecosystem lets it “push a bunch of JSON data into MongoDB [which makes it] “easy to go from simple to quite complex information" and also makes it easier to obfuscate user details through data masking for customer privacy. Natwest is enabled to surface customer data insights for partners via its API ecosystem, for example “where customers are on the e-commerce spectrum,” the “best time [for retailers] to push discounts” as well insights on “most valuable customers” – with data being used for problem-solving; analytics and insight; and reporting. Performance In the dynamic landscape of open banking, meeting the unpredictable demands for performance, scalability, and availability is crucial. The efficiency of applications and the overall customer experience heavily rely on the responsiveness of APIs. However, building an open banking platform becomes intricate when accommodating third-party providers with undisclosed business and technical requirements. Without careful management, this can lead to unforeseen performance issues and increased costs. Open banking demands the APIs to perform well under all kinds of workload volumes. OBIE recommends an average TTLB (time to last byte) of 750 ms per endpoint response for all payment invitations (except file payments) and account information APIs. Compliance with regulatory service level agreements (SLAs) in certain jurisdictions further adds to the complexity. Legacy architectures and databases often struggle to meet this demanding criteria, necessitating extensive changes to ensure scalability and optimal performance. That's where MongoDB comes into play. MongoDB is purpose-built to deliver exceptional performance with its WiredTiger storage engine and compression capabilities. Additionally, MongoDB Atlas improves performance by following its intelligent index and schema suggestions, automatic data tiering, and workload isolation for analytics. One prime illustration of its capabilities is demonstrated by Temenos, a renowned financial services application provider, achieving remarkable transaction volume processing performance and efficiency by leveraging MongoDB Atlas. They recently ran a benchmark with MongoDB Atlas and Microsoft Azure and successfully processed an astounding 200 million embedded finance loans and 100 million retail accounts at a record-breaking 150,000 transactions per second . This showcases the power and scalability of MongoDB with unparalleled performance to empower financial institutions to effectively tackle the challenges posed by open banking. MongoDB ensures outstanding performance, scalability, and availability to meet the ever-evolving demands of the industry. Scalability Building a platform to serve TPPs, who may not disclose their business usages and technical/performance requirements, can introduce unpredictable performance and cost issues if not managed carefully. For instance, a bank in Singapore faced an issue where their Open APIs experienced peak loads and crashes every Wednesday. After investigation, they discovered that one of the TPPs ran a promotional campaign every Wednesday, resulting in a surge of API calls that overwhelmed the bank's infrastructure. A scalable solution that can perform under unpredictable workloads is critical, besides meeting the performance requirements of a certain known volume of transactions. MongoDB's flexible architecture and scalability features address these concerns effectively. With its distributed document-based data model, MongoDB allows for seamless scaling both vertically and horizontally. By leveraging sharding , data can be distributed across multiple nodes, ensuring efficient resource utilization and enabling the system to handle high transaction volumes without compromising performance. MongoDB's auto-sharding capability enables dynamic scaling as the workload grows, providing financial institutions with the flexibility to adapt to changing demands and ensuring a smooth and scalable open banking infrastructure. Availability In the realm of open banking, availability becomes a critical challenge. With increased reliance on banking services by third-party providers (TPPs), ensuring consistent availability becomes more complex. Previously, banks could bring down maintenance services during off-peak hours. However, with TPPs offering 24x7 experiences, any downtime is unacceptable. This places greater pressure on banks to maintain constant availability for Open API services, even during planned maintenance windows or unforeseen events. MongoDB Atlas, the fully managed global cloud database service, addresses these availability challenges effectively. With its multi-node cluster and multi-cloud DBaaS capabilities, MongoDB Atlas ensures high availability and fault tolerance. It offers the flexibility to run on multiple leading cloud providers, allowing banks to minimize concentration risk and achieve higher availability through a distributed cluster across different cloud platforms. The robust replication and failover mechanisms provided by MongoDB Atlas guarantee uninterrupted service and enable financial institutions to provide reliable and always available open banking APIs to their customers and TPPs. Security and privacy Data security and consent management are paramount concerns for banks participating in open banking. The exposure of authentication and authorization mechanisms to third-party providers raises security concerns and introduces technical complexities regarding data protection. Banks require fine-grained access control and encryption mechanisms to safeguard shared data, including managing data-sharing consent at a granular level. Furthermore, banks must navigate the landscape of data privacy laws like the General Data Protection Regulation (GDPR), which imposes strict requirements distinct from traditional banking regulations. MongoDB offers a range of solutions to address these security and privacy challenges effectively. Queryable Encryption provides a mechanism for managing encrypted data within MongoDB, ensuring sensitive information remains secure even when shared with third-party providers. MongoDB's comprehensive encryption features cover data-at-rest and data-in-transit, protecting data throughout its lifecycle. MongoDB's flexible schema allows financial institutions to capture diverse data requirements for managing data sharing consent and unify user consent from different countries into a single data store, simplifying compliance with complex data privacy laws. Additionally, MongoDB's geo-sharding capabilities enable compliance with data residency laws by ensuring relevant data and consent information remain in the closest cloud data center while providing optimal response times for accessing data. To enhance data privacy further, MongoDB offers field-level encryption techniques, enabling symmetric encryption at the field level to protect sensitive data (e.g., personally identifiable information) even when shared with TPPs. The random encryption of fields adds an additional layer of security and enables query operations on the encrypted data. MongoDB's Queryable Encryption technique further strengthens security and defends against cryptanalysis, ensuring that customer data remains protected and confidential within the open banking ecosystem. Activity monitoring With numerous APIs offered by banks in the open banking ecosystem, activity monitoring and troubleshooting become critical aspects of maintaining a robust and secure infrastructure. MongoDB simplifies activity monitoring through its monitoring tools and auditing capabilities. Administrators and users can track system activity at a granular level, monitoring database system and application events. MongoDB Atlas has Administration APIs , which one can use to programmatically manage the Atlas service. For example, one can use the Atlas Administration API to create database deployments, add users to those deployments, monitor those deployments, and more. These APIs can help with the automation of CI/CD pipelines and monitoring the activities on the data platform enabling developers and administrators to be freed of this mundane effort and focus on generating more business value. Performance monitoring tools, including the performance advisor, help gauge and optimize system performance, ensuring that APIs deliver exceptional user experiences. Figure 2: Activity Monitoring on MongoDB Atlas MongoDB Atlas Charts , an integrated feature of MongoDB Atlas, offers analytics and visualization capabilities. Financial institutions can create business intelligence dashboards using MongoDB Atlas Charts. This eliminates the need for expensive licensing associated with traditional business intelligence tools, making it cost-effective as more TPPs utilize the APIs. With MongoDB Atlas Charts, financial institutions can offer comprehensive business telemetry data to TPPs, such as the number of insurance quotations, policy transactions, API call volumes, and performance metrics. These insights empower financial institutions to make data-driven decisions, improve operational efficiency, and optimize the customer experience in the open banking ecosystem. Figure 3: Atlas Charts Sample Dashboard Real-Timeliness Open banking introduces new challenges for financial institutions as they strive to serve and scale amidst unpredictable workloads from TPPs. While static content poses fewer difficulties, APIs requiring real-time updates or continuous streaming, such as dynamic account balances or ESG-adjusted credit scores, demand capabilities for near-real-time data delivery. To enable applications to immediately react to real-time changes or changes as they occur, organizations can leverage MongoDB Change Streams that are based on its aggregation framework to react to data changes in a single collection, a database, or even an entire deployment. This capability further enhances MongoDB’s real-time data and event processing and analytics capabilities. MongoDB offers multiple mechanisms to support data streaming, including a Kafka connector for event-driven architecture and a Spark connector for streaming with Spark. These solutions empower financial institutions to meet the real-time data needs of their open banking partners effectively, enabling seamless integration and real-time data delivery for enhanced customer experiences. MongoDB has also released Atlas Stream Processing , the MongoDB-native way to process streaming data, transforming the way developers build modern applications. Developers can now use the document model and the MongoDB aggregation framework to process rich and complex streams of data from platforms such as Apache Kafka. This unlocks powerful opportunities to continuously process streaming data (e.g., aggregate, filter, route, alert, and emit) and materialize results into Atlas or back into the streaming platform for consumption by other systems such as the Open Banking system for providing customers and transaction data updated in real-time. Conclusion MongoDB's technical capabilities position it as a key enabler for financial institutions embarking on their open banking journey. From managing dynamic environments and accommodating unpredictable workloads to ensuring scalability, availability, security, and privacy, MongoDB provides a comprehensive set of tools and features to address the challenges of open banking effectively. With MongoDB as the underlying infrastructure, financial institutions can navigate the ever-evolving open banking landscape with confidence, delivering innovative solutions, and driving the future of banking. Embracing MongoDB empowers financial institutions to unlock the full potential of open banking and provide exceptional customer experiences in this era of collaboration and digital transformation. If you would like to learn more about how you can leverage MongoDB for your open banking infrastructure, take a look at the below resources: Open banking panel discussion: future-proof your bank in a world of changing data and API standards with MongoDB, Celent, Icon Solutions, and AWS How a data mesh facilitates open banking Financial services hub

June 6, 2023

MongoDB Atlas as the Data Hub for Smart Manufacturing with Microsoft Azure

All the source code used in this project, along with a detailed deployment guide, is available on our public Github page . Manufacturing companies are emerging from the pandemic with a renewed focus on digital transformation and smart factories investment. COVID-19 has heightened the need for Industrial IoT technology and innovation as consumers have moved towards online channels, forcing manufacturers to compete in a digitalized business environment. The manufacturing ecosystem can be viewed as a multi-dimensional grouping of systems designed to support the various business units in manufacturing organizations such as operations, engineering, maintenance, and learning & development functions. Process and equipment data is generated on the shop floor from machines and systems such as SCADA and then stored in a process historian or an operational database. The data originating from shop floor devices are generally structured time series data acquired through regular polling and sampling. Historians provide fast insertion rates of time series data, with capacities that reach up to tens of thousands of PLC tags processed per second. They rely on efficient data compression engines which can either be lossy or lossless. Traditional RDBMS storage comes packaged with the manufacturing software applications such as a Manufacturing Execution System (MES). Relational databases are traditionally common in manufacturing systems and thus the choice of database systems for these manufacturing applications are typically driven by historical preferences. Manufacturing companies have long relied on using several databases and data warehouses to accommodate various transactional and analytical workloads. The strategy of separating operational and analytical systems has worked well so far and has caused least interference with the operational process. However this strategy will not fare well in the near future for two reasons: Manufacturers are generating high volume, variety and veracity data using advanced IIoT platforms to create a more connected product ecosystem. The growth of IIoT data has been rapid and in fact, McKinsey and Company estimates that companies will spend over $175B in IIoT and edge computing hardware by 2025. A traditional manufacturing systems setup necessitates the deployment and maintenance of several technologies including graph databases (for asset digital models and relationships) and time series databases (for time series sensor data) and leads to IT sprawl across the organization. A complex infrastructure causes latency and delays in data access which leads to non-realization of real time insights for improving manufacturing operations. To establish an infrastructure that can enable real time analytics, companies need real time access to data and information to make the right decision in time. Analytics can no longer be a separate process, it needs to be brought into the application. The applications have to be supplied with notifications and alerts instantly. This is where application-driven analytics platforms such as MongoDB Atlas come into picture. We understand that to build smarter and faster applications, we can no longer rely on maintaining separate systems for different transactional and analytical workloads. Moving data between disparate systems takes time and energy and results in longer time to market and slower speed of innovation. Many of our customers start out using MongoDB as an operational database for both new cloud-native services as well as modernized legacy apps. More and more of these clients are now improving customer experience and speeding business insight by adopting application-driven analytics within the MongoDB Atlas platform. They use MongoDB to support use cases in real-time analytics, customer 360, internet of Things (IoT) and mobile applications across all industry sectors. As mentioned before, Manufacturing ecosystem employs a lot of databases just to run production operations. Once IIoT solutions are added to the mix, each solution (shown in yellow in Figure 1) may come with its own database (Time Series, relational, graph etc.) and the number of databases will increase dramatically. With MongoDB Atlas, this IT sprawl can be reduced as multiple use cases can be enabled using MongoDB Atlas (Figure 2). The versatility of the document model to structure data any way the application needs, coupled with an expressive API and indexing that allows you to query data any way you want is a powerful value proposition. The benefits of MongoDB Atlas are amplified by the platform’s versatility to address almost any workload. Atlas combines transactional processing, application-driven analytics, relevance-based search, and mobile edge computing with cloud sync. These capabilities can be applied to almost every type of modern applications being built for the digital economy by developers. Figure 1: IT sprawl with IIoT and analytics solutions deployment in Manufacturing Figure 2: MongoDB Atlas simplifying road to Smart Manufacturing MongoDB and Hyperscalers leading the way for smart manufacturing Manufacturers who are actively investing in digital transformation and IIoT are experiencing an exponential growth in data. All this data offers opportunities for new business models and digital customer experiences. To drive the right outcomes from all this data, manufacturers are setting up scalable infrastructures using Hyperscalers such as Azure, AWS and GCP. These hyperscalers offer a suite of components for efficient, scalable implementation of IIoT platforms. Companies are leveraging these accelerators to quickly build solutions, which help access, organize, and analyze previously untapped data from sensors, devices, and applications. In this article, we are focused on how MongoDB integrates with Microsoft Azure IoT modules and acts as the digital data hub for smart manufacturing use cases. MongoDB and Microsoft have been partners since 2019, but last year it was expanded, enabling developers to build data intensive applications within the Azure marketplace and Azure portal. This enables an enhanced developer experience and allows burn down of their Microsoft Azure Consumption Commitment. The alliance got further boost when Microsoft included MongoDB as a partner in its newly launched Microsoft Intelligent Data Platform Ecosystem . MongoDB Atlas can be deployed in 35 regions in Azure and has seamless integration with most of the Azure Developer services (Azure functions, App services, ADS), Analytics services (Azure Synapse), Data Governance (Microsoft Purview), ETL (ADF) and cross cutting services (AD, KMS, AKS etc.) powering building of innovative solutions. Example scenario: Equipment failure prediction Imagine a manufacturing facility that has sensors installed in their Computer Numerical Control (CNC) machines measuring parameters such as temperature, torque, rotational speed and tool wear. A sensor gateway converts analog sensor data to digital values and pushes it to Azure IoT Edge which acts as a gateway between factory and the Cloud. This data is transmitted to Azure IoT Hub where the IoT Edge is registered as an end device. Once we have the data in the IoT Hub, Azure Stream Analytics can be utilized to filter the data so that only relevant information flows into the MongoDB Atlas Cluster. The connection between Stream Analytics and MongoDB is done via an Azure Function. This filtered sensor data inside MongoDB is used for following purposes: To provide data for machine learning model that will predict the root cause of machine failure based on sensor data. To act as a data store for prediction results that can be utilized by business intelligence tools such as PowerBI using Atlas SQL Interface. To store the trained machine learning model checkpoint in binary encoded format inside a collection. The overall architecture is shown in Figure 3. Figure 3: Overall architecture Workflow: The sensors in the factory are sending time series measurements to Azure IoT Hub. These sensors are measuring for multiple machines: Product Type Air Temperature (°C) Process Temperature (°C) Rotational Speed Torque Tool Wear (min) IoT Hub will feed these sensor data to Azure Stream Analytics, where the data will be filtered and pushed to MongoDB Atlas time series collections. The functionality of Stream Analytics can be extended by implementing machine learning models to do real-time predictive analytics on streaming input data. The prediction results can also be stored in MongoDB in a separate collection. The sensor data contains the device_id field which helps us filter data coming from different machines. As MongoDB is a document database, we do not need to create multiple tables to store this data, in fact we can just use one collection for all the sensor data coming from various devices or machines. Once the data is received in MongoDB, sum and mean values of sensor data will be calculated for the predefined production shift duration and the results will be pushed to MongoDB Atlas Charts for visualization. MongoDB Time series window functions are used in an aggregation pipeline to produce the desired result. When a machine stoppage or breakdown occurs during the course of production, it may lead to downtime because the operator has to find out the cause of the failure before the machine can be put back into production. The sensor data collected from the machines can be used to train a machine learning model that can automatically predict the root cause when a failure occurs and significantly reduce the time spent on manual root cause finding on the shop floor. This can lead to increased availability of machines and thus more production time per shift. To achieve this goal, our first task is to identify the types of failures we want to predict. We can work with the machine owners and operators to identify the most common failure types and note that down. With this important step completed, we can identify the data sources that have relevant data about that failure type. If need be, we can update the Stream Analytics filter as well. Once the right data is identified, we train a Decision Tree Classifier model in Azure Machine Learning and deploy it as a binary value as a separate collection inside MongoDB. Atlas Scheduled Triggers are used to trigger the model (via an Azure Function) and the failure prediction results are written back results into a separate Failures collection in MongoDB. Scheduled triggers’ schedule can be aligned to production schedule so that it only fires when a changeover occurs for example. After a failure is detected, the operator and supervisor needs to be notified immediately. Using App Services, a mobile application is developed to send notifications and alerts to floor supervisor and machine operator once a failure root cause is predicted. Figure 4 shows the mobile app user interface where the user has an option to acknowledge the alert. Thanks to Atlas Device Sync , even when the mobile device is facing unreliable connectivity, the data keeps in sync between Atlas cluster and Realm database in the app. MongoDB’s Realm , is an embedded database technology already used on millions of mobile phones as part of mobile apps as well as infotainment like systems. FIgure 4: Alert app user interface Business benefits of using MongoDB Atlas as smart manufacturing data hub Scalability: MongoDB is a highly scalable document based database that can handle large amounts of structured, semi-structured and unstructured data. Native time series collections are available that help with storing large amounts of data generated by IIoT enabled equipment in a highly compressed manner. Flexibility: MongoDB stores data in a flexible, JSON-like format, which makes it easy to store and query data in a variety of ways. This flexibility makes it well-suited for handling the different data structures needed to store sensor data, ML models and prediction results, all in one database. This removes the need for maintaining separate databases for each type of data reducing IT sprawl in manufacturing organizations. Real-time Analytics: As sensor data comes in, MongoDB aggregation pipelines can help in generating features to be used for machine learning models. Atlas Charts can be set up in minutes to visualize important features and their trends in near real time. BI Analytics: Analysts can use the Atlas SQL interface to access MongoDB data from SQL based tools. This allows them to work with rich, multi-structured documents without defining a schema or flattening data. In a connected factory setting, this can be useful to generate reports for failures over a period of time and comparison between different equipment failures types. Data can be blended from MongoDB along with other sources of data to provide a 360 degree view of production operations. Faster Mobile Application Development: Atlas device sync bidirectionally connects and synchronizes Realm databases inside mobile applications with the MongoDB Atlas backend, leading to faster mobile application development and less time needed for maintenance of deployed applications. Conclusion The MongoDB Atlas developer data platform is designed and engineered to help speed up your journey towards smart manufacturing. It is not just suitable for high speed time series workloads but also for workloads that power mobile applications and BI Dashboards – leading to smarter applications, increased productivity and eventually smarter factories. Learn more All the source code used in this project, along with a detailed deployment guide, is available on our public Github page . To learn more about how MongoDB enables IIoT for our customers, please visit our IIoT use cases page . Get started today with MongoDB Atlas on Azure Marketplace listing .

February 27, 2023

Build Analytics-Driven Apps with MongoDB Atlas and the Microsoft Intelligent Data Platform

Customers increasingly expect engaging applications informed by real-time operational analytics, yet meeting these expectations can be difficult. MongoDB Atlas is a popular operational data platform that makes it straightforward to manage critical business data at scale. For some applications, however, enterprises may also want to apply insights gleaned from data warehouse, business intelligence (BI), and related solutions, and many enterprises depend on the Microsoft Intelligent Data Platform to apply analytics and governance solutions to operational data stores. MongoDB and Microsoft have partnered to make it simple to use the Microsoft Intelligent Data Platform to glean and apply comprehensive analytical insights to data stored in MongoDB. This article details how enterprises can successfully use MongoDB with the Microsoft Intelligent Data Platform to build more engaging, analytics-driven applications. Microsoft Intelligent Data Platform + MongoDB MongoDB Atlas provides a unified interface for developers to build distributed, serverless, and mobile applications with support for diverse workload types including operational, real-time analytics, and search. With the ability to model graph, geospatial, tabular, document, time series, and other forms of data, developers don’t have to go for multiple niche databases, which results in highly complex, polyglot architectures. The Microsoft Intelligent Data Platform offers a single platform for databases, analytics, and data governance by integrating Microsoft’s database, analytics, and data governance products. In addition to all Azure database services, the Microsoft Intelligent Data Platform includes Azure Synapse Analytics for data warehousing and analytics, Power BI for BI reporting, and Microsoft Purview for enterprise data governance requirements. Although customers have always been able to apply the Microsoft Intelligent Data Platform services to MongoDB data, doing so hasn't always been as simple as it could be. Through this new integration, customers gain a seamless way to run analytics and data warehousing operations on the operational data they store in MongoDB Atlas. Customers can also more easily use Microsoft Purview to manage and run data governance policies against their most critical MongoDB data, thereby ensuring compliance and security. Finally, through Power BI customers are empowered to easily query and extract insights from MongoDB data using powerful in-built and custom visualizations. Let’s deep dive into each of these integrations. Operationalize insights with MongoDB Atlas and Azure Synapse Analytics MongoDB Atlas is an Operational Data Platform which can handle multiple workload types including transactional, search, operational analytics, etc. It can cater to multiple application types including distributed, serverless, mobile, etc. For data warehousing workloads, long-running analytics, and AI/ML, we compliment Azure Synapse Analytics very well. MongoDB Atlas can be easily integrated as a source or as a sink resource in Azure Synapse Analytics. This connector is useful to: Fetch all the MongoDB Atlas historical data into Synapse Retrieve incremental data for a period based on filter criteria in a batch mode, to run SQL based or Spark based analytics The sink connector allows you to store the analytics results back to MongoDB, which can then power applications enabled on top of it. Many enterprises require real-time analytics, for example, in fraud detection, anomaly detection of IoT devices, predicting stock depletion, and maintenance of machinery, where a delay in getting insights could cause serious repercussions. MongoDB and Microsoft have worked together to come up with the best practice architecture for the same which can be found in this article . Figure 1: Schematic showing integration of MongoDB with Azure Synapse Analytics. Business intelligence reporting and visualization with PowerBI Together, MongoDB Atlas and Microsoft PowerBI offer a sophisticated real-time data platform, providing customers with the ability to present specialized operational and analytical query engines on the same data sets. Information on connecting from PowerBI desktop to MongoDB is available in the official documentation . MongoDB is also excited to announce the forthcoming MongoDB Atlas Power BI Connector that will expose the richness of the JSON document data with Power BI (see Figure 2). This MongoDB Atlas Power BI Connector allows users to unlock access to their Atlas cloud data. Figure 2: Schematic showing integration of MongoDB and Microsoft Power BI. Beyond providing mere access to MongoDB Atlas data, this connector will provide a SQL interface to let you interact with semi-structured JSON data in a relational way, thereby ensuring you can take full advantage of Power BI's rich business intelligence capabilities. Importantly, through the connector, support is planned for two connectivity modes: import and direct. This new MongoDB Atlas Power BI Connector will be available in the first half of 2023. Conclusion Together with the Microsoft Intelligent Data Platform offerings, MongoDB Atlas can help operationalize the insights driven from customers’ data spread across siloed legacy databases and help build modern applications with ease. With MongoDB Atlas on Microsoft Azure, developers receive access to the most comprehensive, secure, scalable, and cloud–based modern database in the market. Now, with the availability of Atlas on the Azure Marketplace, it’s never been easier for users to start building with Atlas while streamlining procurement and billing processes. Get started today through the MongoDB Atlas on Azure Marketplace listing .

January 10, 2023