MongoDB 및 Databricks를 사용하여 금융 서비스에 대해 실시간으로 AI/ML 사기를 탐지합니다. 데이터의 완전성을 보장하고 즉각적으로 사기를 분석합니다.
제품 및 도구: Atlas, Atlas Clusters, Change Streams, Atlas Triggers, Spark Streaming Connector
파트너: Databricks
솔루션 개요
이 솔루션에서는 MongoDB와 Databricks를 사용하여 머신 러닝기반 사기 방지 솔루션을 얼마나 쉽게 구축할 수 있는지 학습하게 됩니다. 이 솔루션의 주요 기능에는 외부 소스와의 통합을 통한 데이터 완전성, 시기적절한 사기 탐지를 위한 실시간 처리, 잠재적 사기 패턴을 식별하기 위한 AI/ML 모델링, 즉각적인 분석을 위한 실시간 모니터링, 사기 행위에 대한 완전한 가시성을 제공하는 모델 관찰성, 유연성, 확장성 및 강력한 보안 조치가 포함됩니다. 이 시스템은 애플리케이션 개발팀과 데이터 과학팀 간의 작업을 용이하게 하고 협업을 촉진하는 것을 목표로 합니다. 또한 엔드 투 엔드 CI/CD 지원 파이프라인을 통해 최신 상태의 보안 시스템을 보장합니다.
기존의 도전 과제
레거시 시스템의 불완전한 데이터 가시성: 관련 데이터 소스에 대한 접근 부족이 사기 패턴 탐지를 방해합니다.
사기 방지 시스템의 지연 시간 문제: 레거시 시스템은 실시간 처리가 부족하여 사기 탐지에 지연을 초래합니다.
레거시 시스템 적응의 어려움: 기존 시스템의 유연성이 부족하여 고급 사기 방지 기술의 채택을 방해합니다.
레거시 시스템의 약한 보안 프로토콜: 구식 보안은 사이버 공격에 대한 취약성을 드러냅니다.
기술 확산으로 인한 운영상의 과제: 다양한 기술이 유지 관리 및 업데이트를 복잡하게 만듭니다.
레거시 시스템의 높은 운영 비용: 유지보수 비용이 높아 사기 방지 예산이 제한됩니다.
팀 간의 협업 부족: 사일로 접근 방식은 해결책 지연과 오버헤드 증가를 초래합니다.
참조 아키텍처
머신 러닝 기반 사기 방지 솔루션은 실시간 처리, AI/머신 러닝 모델링, 모델 관찰 가능성, 유연성, 팀 간 협업이 절대적으로 필수적인 산업에 적합합니다. 이 시스템은 종단 간 CI/CD 파이프라인을 통해 최신의 안전한 작업을 보장합니다. 관련 산업에는 다음이 포함됩니다.
금융 서비스 - 트랜잭션 사기 탐지
전자상거래 - 주문 내 사기 탐지
의료 및 보험 - 청구 사기 탐지
그림 1. 카드 사기 솔루션 아키텍처
데이터 모델 접근 방식
그림 2. 카드 사기 방지 솔루션 데이터 모델
도메인 다이어그램에서 볼 수 있듯이, 신용카드 트랜잭션을 처리할 때 트랜잭션 자체, 트랜잭션에 참여한 상인, 그리고 트랜잭션에 참여한 결제자라는 세 가지 엔티티가 있습니다. 세 가지 모두 중요하며 사기 탐지 애플리케이션에서 함께 접근되므로, 확장 패턴을 사용하여 트랜잭션, 상인, 결제자에 대한 필드를 하나의 문서에 포함합니다.
솔루션 구축
위에 나열된 기능들은 몇 가지 아키텍처 구성 요소로 구현할 수 있습니다. 여기에는 다음이 포함됩니다.
데이터 소스 확보
프로듀서 앱: 프로듀서 모바일 앱은 실시간 트랜잭션 생성을 시뮬레이션합니다.
레거시 데이터 소스: SQL 외부 데이터 소스는 고객 인구통계 정보를 위해 사용됩니다.
모델 교육에 필요한 과거 트랜잭션 데이터는 클라우드 객체 저장소인 Amazon S3 또는 Microsoft Azure Blob Storage에서 수집됩니다.
MongoDB Atlas: 카드 트랜잭션의 운영 데이터 저장소(ODS)로서 실시간으로 트랜잭션을 처리합니다. 이 솔루션은 MongoDB Atlas 집계 프레임워크를 활용하여 앱 내 분석을 수행하고 사전 구성된 규칙에 따라 트랜잭션을 처리합니다. 또한 Databricks와 네이티브 Spark connector를 통해 고급 AI/머신 러닝 기반 사기 탐지를 위해 통신합니다.
Databricks: MongoDB Atlas의 앱 내 분석을 보완하기 위해 AI/머신 러닝 플랫폼을 호스팅합니다. 이 예시에서 사용된 사기 탐지 알고리즘은 Databricks의 사기 프레임워크 MLFlow에서 영감을 받은 노트북으로, 이 모델의 MLOps 관리를 위해 사용되었습니다. 훈련된 모델은 REST 엔드포인트로 제공됩니다.
이제 아래에서 이러한 아키텍처 구성 요소를 하나씩 자세히 분석해 보겠습니다.
데이터 소싱
포괄적인 사기 탐지 솔루션을 구현하는 첫 번째 단계는 모든 관련 데이터 소스에서 데이터를 집계하는 것입니다. 위의 그림 1에서 볼 수 있듯이, 이벤트 기반 연합 아키텍처는 프로듀서 앱과 같은 실시간 데이터 소스, SQL 데이터베이스와 같은 배치 레거시 시스템 데이터 소스, 오프라인 저장소의 과거 교육 데이터 세트에서 데이터를 수집하고 처리하는 데 사용됩니다. 이 접근 방식은 트랜잭션 요약, 고객 인구 통계, 판매자 정보 및 기타 관련 데이터 소스와 같은 다양한 패싯에서 데이터를 수집하여 데이터의 완전성을 보장합니다.
또한, 제안된 이벤트 기반 아키텍처는 다음과 같은 이점을 제공합니다.
실시간 트랜잭션 데이터 통합을 통해 거래 금액, 위치, 거래 시간, 결제 게이트웨이 정보, 결제 장치 정보 등 카드 트랜잭션 이벤트 데이터를 실시간으로 수집할 수 있습니다.
실시간 이벤트 활동을 기반으로 모니터링 모델을 재훈련하여 사기 발생 시 이를 방지합니다.
데모를 위한 프로듀서 애플리케이션은 사전 정의된 속도(구성 가능한 초당 트랜잭션)로 실시간 트랜잭션 정보를 생성하는 Python 스크립트입니다.
이벤트 중심, 시프트-레프트 분석 아키텍처를 위한 MongoDB
MongoDB Atlas는 현대적인 멀티 클라우드 데이터베이스 플랫폼으로, 카드 사기 트랜잭션 분류를 위한 데이터 저장소로서 완벽한 선택이 될 수 있는 다양한 기능을 제공합니다. 유연한 데이터 모델을 지원하며 다양한 유형의 데이터를 처리할 수 있습니다. 수요를 충족하기 위한 높은 확장성, 규제 요구 사항 준수를 지원하는 고급 보안 기능, 빠르고 정확한 사기 탐지를 위한 실시간 데이터 처리, 고객과 가까운 곳에 데이터를 저장하고 현지 데이터 개인정보 보호 규정을 준수하는 클라우드 기반 배포를 제공합니다.
MongoDB Spark Streaming Connector는 Apache Spark와 MongoDB를 통합합니다. Databricks에서 호스팅하는 Apache Spark는 대량의 데이터를 실시간으로 처리하고 분석할 수 있게 해줍니다. Spark Connector는 MongoDB 데이터를 Spark 데이터 프레임으로 변환하며 실시간 Spark 스트리밍을 지원합니다.
MongoDB가 제공하는 앱 서비스 기능은 변경 스트림과 트리거를 통해 실시간 데이터 처리를 가능하게 합니다. MongoDB Atlas는 다양한 유형의 데이터를 저장하고 처리할 수 있는 기능뿐만 아니라 스트리밍 및 트리거 기능을 제공하여 이벤트 주도형 아키텍처에 적합합니다.
이 솔루션은 MongoDB와 앱 서비스의 풍부한 에코시스템을 활용하여 실시간으로 트랜잭션을 처리합니다. 앱 서비스 트리거 기능은 Databricks 머신 러닝 프레임워크를 통해 호스팅된 AI/ML 모델에 REST 서비스 호출을 통해 사용됩니다.
이 예시 솔루션은 사용자 설정 컬렉션에 사용자 지정 결제 한도 및 정보를 저장하여 규칙 기반 사기 방지를 관리합니다. 여기에는 트랜잭션당 최대 달러 한도, 하루 허용 트랜잭션 수, 기타 사용자 관련 세부 정보가 포함됩니다. 비용이 많이 드는 AI/머신 러닝 모델을 호출하기 전에 이러한 규칙을 기반으로 트랜잭션을 필터링함으로써 사기 방지에 소요되는 총 비용을 절감할 수 있습니다.
AI/머신 러닝 운영 플랫폼으로서의 Databricks
Databricks는 사기 트랜잭션을 식별하기 위한 모델을 개발하는 강력한 AI/머신 러닝 플랫폼입니다. Databricks의 주요 기능 중 하나는 실시간 분석을 지원하는 것입니다. 위에서 논의한 바와 같이, 실시간 분석은 현대 사기 탐지 시스템의 주요 기능입니다.
Databricks에 MLFlow는 엔드투엔드 머신 러닝 라이프사이클을 관리하는 강력한 도구입니다. MLFlow를 활용하면 실험을 추적하고 결과를 재현하며 모델을 대규모로 배포할 수 있으므로 복잡한 머신 러닝 워크플로를 더 쉽게 관리할 수 있습니다. MLFlow는 모델의 성능 추적 및 디버깅에 도움이 되는 모델 관찰 기능을 제공합니다. 여기에는 모델 지표, 로그 및 기타 관련 데이터에 대한 액세스가 포함되며, 이를 사용하여 문제를 식별하고 시간이 지남에 따라 모델의 정확성을 향상시킬 수 있습니다. 또한 이러한 기능은 AI/머신 러닝을 활용한 최신 사기 탐지 시스템의 설계하는 데 도움이 될 수 있습니다.
주요 학습 사항
제안된 솔루션의 기능적 및 비기능적 기능은 다음과 같습니다.
데이터 완전성: 외부 소스와 통합하여 정확한 데이터 분석을 수행합니다.
실시간 처리: 사기 행위를 적시에 탐지할 수 있습니다.
AI/머신 러닝 모델링: 잠재적 사기 패턴과 행동을 식별합니다.
실시간 모니터링: 즉각적인 데이터 처리 및 분석을 허용합니다.
모델 가시성: 사기 패턴에 대한 완전한 가시성을 보장합니다.
유연성 및 확장성: 변화하는 비즈니스 요구에 대응할 수 있습니다.
강력한 보안 조치: 잠재적인 보안 침해로부터 조직을 보호합니다.
작업 용이성: 운영 복잡성을 줄여줍니다.
애플리케이션 및 데이터 과학 팀 협업: 목표와 협력을 일치시킵니다.
종단간 CI/CD 파이프라인 지원: 시스템을 항상 최신 상태로 유지하고 보안을 보장합니다.
사용된 기술 및 제품
MongoDB 데이터 개발자 플랫폼
파트너 기술
작성자
Shiv Pullepu, MongoDB
Luca Napoli, MongoDB
Ashwin Gangadhar, MongoDB
Rajesh Vinayagam, MongoDB