使用 MongoDB Atlas Vector Search 将实时分析与语义搜索深度融合,精准识别传统规则引擎无法捕捉的欺诈行为。
解决方案概述
欺诈和反洗钱是企业和消费者都非常关注的问题,影响着商业银行和资本市场的金融服务机构。银行业各个领域的交易量和复杂性使得网络犯罪分子更容易隐藏欺诈和洗钱行为。传统解决方案(包括基于规则的系统与机器学习方法)受限于特征工程的高成本投入,难以持续保持模型的有效性。这导致更新过时和增强功能延迟。
Atlas Vector Search 通过解决这些局限性,有望提升欺诈检测和反洗钱工作的效果,这代表了机器学习在打击欺诈方面的下一步发展。任何已经从实时分析中获益的组织都会发现,异常检测的这一突破将欺诈检测和反洗钱的准确性提升到了新的水平。
该解决方案将探讨实时分析与 MongoDB Atlas Vector Search 的融合如何产生强大的协同效应,从而使组织能够在欺诈发生之前挖掘出深层次的隐藏洞察。该解决方案利用实时数据流和持续监控来检测新出现的威胁,并适应不断变化的风险环境。
构建解决方案和参考架构
Atlas Vector Search 如何提供帮助
像 MongoDB Atlas 这样的矢量数据库,使得在不同类型的数据之间更容易发现相似性和关联关系。与其使用独立或外挂的矢量数据库,不如借助 MongoDB 的现代化多云数据库平台,用户可以将其运营数据、元数据和向量嵌入存储在 MongoDB Atlas 上,并无缝利用 Atlas Vector Search 为生成式 AI 应用建立索引并检索数据。
实时分析与 Atlas Vector Search 的结合提供了强大的协同效应,使组织能够发现传统方法难以获得的见解。如下图 1 所示,MongoDB 通过 Atlas Vector Search 实现了这一功能。
图 1. Atlas Vector Search 在欺诈和反洗钱检测中的应用
如何创建用于欺诈检测和反洗钱的向量嵌入?
在该解决方案中,欺诈嵌入基于文本、交易和交易对手数据的组合。反洗钱嵌入是根据交易、交易对手之间的关系及其风险状况创建的。
数据源的选择,包括非结构化数据的使用,以及一个或多个向量嵌入的创建,可以根据特定需求进行配置。您可以使用Voyage AI来执行嵌入。
历史向量嵌入
演示数据库预先填充了针对欺诈和反洗钱嵌入综合生成的测试数据。在实际场景中,您可以通过将历史交易数据和客户数资料编码为向量来生成嵌入。
一种直观的方法是将数据整合到像 MongoDB 这样的数据存储中。这提供了必要的灵活性,能够捕获多种数据类型,并将相关字段向量化。
在此演示中,我们使用向量嵌入启用有意义的语义搜索,从而模拟人类分析师或调查人员如何评估相关交易或可疑案例。
通常,反洗钱分析师或调查员会首先收集相关数据(来自互联网或机构内部),综合相关的结构化数据(日期、交易类型、金额)以及非结构化或半结构化数据(交易说明、个人或公司的工作或业务说明、与收款方的关系等),并撰写报告以提供审查中交易的背景信息。
一款利用 Atlas Vector Search 的反欺诈/反洗钱应用程序,可以通过整合数据(定量和定性)来构建文本叙述(该叙述也可通过 LLM 进行补充),从而轻松执行类似操作。之后,构建的叙述可用于向量嵌入,随后通过 Atlas Vector Search 对类似的交易或案例进行语义搜索。
欺诈检测与反洗钱工作流程
如图 1 所示,输入的交易欺诈和反洗钱聚合文本首先使用嵌入模型生成嵌入,然后根据具有类似特征的先前交易中标记为可疑活动的百分比,使用 Atlas 向量搜索进行分析。
交易处理结果
如果标记为欺诈/可疑:拒绝交易请求。
如果没有标记:交易成功完成,并显示确认信息。
对于被拒绝的交易,用户可以联系案例管理服务,并提供交易参考号以获取详细信息。对于成功的交易,无需采取任何操作。
结合 Atlas Vector Search 用于欺诈检测和反洗钱
通过使用 Atlas Vector Search 和相关嵌入,组织可以:
提升欺诈检测准确性:Atlas Vector Search 捕捉到基于规则的模型和机器学习模型常常忽略的复杂高维模式,从而实现更精确的欺诈检测。通过分析交易的完整上下文,Atlas Vector Search 还可以更敏锐地发现细微的欺诈信号,从而提高对简单模型可能遗漏的复杂方案的检测能力。
更快检测新的欺诈方案:通过实时异常检测,Atlas Vector Search 能够更快速地识别新的欺诈或洗钱手法,在无需持续重新训练模型的情况下降低新兴威胁的风险。
轻松扩展与适配:MongoDB 的多模型运营数据存储系统使组织能够在单一运营及 AI 数据存储中充分利用结构化数据(尤其是文本、图像等非结构化数据),实现欺诈检测与反洗钱 (AML) 等应用,揭示传统系统无法处理的隐藏模式,且无需额外部署多个专用数据存储或向量存储。凭借高度可扩展的架构,并支持部署专用搜索节点以实现工作负载隔离,MongoDB 帮助组织轻松扩展以应对不断增长的数据集,并动态适应新的欺诈或洗钱模式,从而提供一个更灵活且未来可扩展的反金融犯罪框架。
为什么选择 MongoDB 进行反洗钱和欺诈防范
欺诈检测和反洗钱需要采用整体性的平台方法,因为它们涉及到不断演变的多样化数据集。客户之所以选择 MongoDB,是因为它是一个统一的数据平台,无需依赖诸如专用矢量数据库之类的小众技术。MongoDB 的文档数据模型能够纳入任何类型的数据(无论是结构化、半结构化还是非结构化数据,任何格式、任何来源、无论其变化频率如何),都可以被整合,从而帮助您全面描绘客户画像,更好地实时预测交易异常。
通过整合 Atlas Vector Search,机构可以:
在任何类型的数据上构建由语义搜索和生成式人工智能提供支持的智能应用程序。
将向量嵌入直接存储在源数据和元数据旁边,数据库中插入或更新的向量会自动同步到矢量索引。
通过搜索节点优化资源消耗、提升性能并增强可用性。
通过久经考验、完全托管的 MongoDB Atlas 现代化多云数据库平台,彻底消除繁重的运维负担。
鉴于欺诈和反洗钱(AML)的广泛性和不断演变的性质,这些领域通常需要多种方法和多模式的综合策略。因此,统一的风险数据平台为旨在构建有效解决方案的组织提供了多项优势。
图 2.欺诈检测/反洗钱系统的高级架构
此 GitHub 存储库展示了一个演示,其中客户访问银行的网站以执行交易。它专注于交易的清算阶段,在此阶段,银行会进行一系列验证,以防范欺诈行为并遵守制裁措施及反洗钱法律法规。演示包括一个 API,它可以标记受制裁的客户,并应用一种创新流程,通过从定量和定性数据构建文本叙述来标记反洗钱和欺诈交易。这些流程包括 AI 嵌入和 MongoDB 功能,例如全文搜索、Atlas Vector Search、Atlas App Services 等。
关键要点
该解决方案使用向量嵌入进行语义搜索,需要嵌入模型来生成向量嵌入。 GitHub存储库不包括提供商凭证。您可以使用 Voyage AI作为嵌入服务。