使用 MongoDB Atlas构建客户单一视图

MongoDB

开展一项持久、成功的业务,关键在于了解客户。如果你真正了解你的客户,你便掌握了他们的需求和欲望,进而在对的时间以对的方式交付适宜的商品。然而,对于绝大多数 B2C 企业而言,由于存在大量分散的数据,很难构建单一的客户视图。

企业收集客户数据的场景有很多,比如电商平台、CRM、ERP、忠诚度计划、支付端口、网络 APP、手机 APP 等等。各数据集可能是结构化、半结构化或非结构化,以流处理的形式交付或需要批处理,进一步加重了让碎片化的客户数据编辑工作。一些企业开始寻求定制解决方案,但只能提供部分客户视图。

孤岛数据集让运营变得极具挑战性,包括客户服务、定向市场营销和高级分析(如流失预测和推荐)等。只有获得 360 度的客户视图,企业才能真正理解客户的需要、欲望和要求,进而谈及满足客户需求。因此,360 度数据的单一视图成为实现持久客户关系的关键。

在本篇文章中,我们将详细分析如何通过 MongoDB 数据库和 Cogniflare Calledio Customer 360 工具架构客户单一视图,并依照现实世界中的使用案例了解情感分析。

使用 Calleido Customer 360 构建单一视图

借助 Customer 360 数据库,企业机构能够获得和分析多种类型的个体交互和触点,进而构建客户整体视图。实现途径是通过一系列不同的资源获取数据。不过,这些数据信息的发送和转换既复杂又耗时,

现有的许多大数据手段也并不适配云环境。为了解决这些挑战和困难,Cogniflare 推出了 Calleido

Diagram of Calleido Customer 360 Use Case Architecture
图 1:Calleido Customer 360 用例架构

Calleido 是一个数据处理平台,基于久经考验的开源工具,如 Apache NiFi。Calleido 拥有 300 个处理器,可轻松异动结构化和非结构化数据,打破地域束缚。它提供批量和实时更新,处理简单的数据转换。

更重要的是,Calleido 能够与 Google Cloud 无缝整合,实现一键式部署。它利用 Google Kubernetes Engine 按需进行纵向和横向扩展,打造直观、流畅的低代码开发环境。

Calleido Site interface for the Data Pipeline to Copy Customers From PostgreSQL to MongoDB
图 2:使用 Calleido 数据管道,将客户数据从 PostgreSQL 复制到 MongoDB

现实世界用例:客户电子邮件的情感分析

下面通过对客户电子邮件的情感分析用例来演示 Cogniflare CalleidoMongoDB Atlas 和 Customer 360 视图。

为简化 Customer 360 数据库的构建,Cogniflare 团队创建了工作流模板,可在几秒钟完成数据管道部署。在接下来的章节中,我们将详细介绍一些常用的数据转移模式,来演示本 Customer 360 用例和控制面板样本。

Image of the customer profile dashboard
图三:控制面板样本
  1. 自处理器从电子邮件服务器 (ConsumeIMAP) 提取 IMAP 消息起,工作流便开始了。进入所选收件箱(即客户服务)的每封新邮件都会触发一次事件。

  2. 接着,会提取电子邮件标题来判断有关电子邮件内容的重要详情 (ExtractEmailHeaders)。

  3. Calleido 会借助发送人的电子邮件识别客户 (UpdateAttribute),并通过执行脚本来提取电子邮件全文 (ExecuteScript)。

  4. 此时,基于已收集到的所有数据,可形成消息有效负载,并通过 Google Cloud Platform (GCP) Pub/Sub(还可使用 Kafka)发布,满足下游工作流和其他服务的使用。

图 4:将电子邮件翻译为 Cloud PubSub 消息
  1. 接着,会用到前一工作流中的 GCP Pub/Sub 消息 (ConsumeGCPPubSub)。此时,我们会借助 MongoDB Atlas 的整合功能来验证MongoDB 数据库中的每一位发件人 (GetMongo)。如果某位客户已存在于我们的系统中,那么我们会把该电子邮件数据发送至下一工作流,然后忽略其他电子邮件。
图 5:使用 MongoDB 和 Calleido 确认客户电子邮件
  1. 随后,开始分析电子邮件正文。在本工作流中,我们使用处理器准备一份请求正文,发送至 Google云自然语言AI获取消息的语气和情感信息。

  2. 语言处理 API 的结果会直接发送至 MongoDB Atlas,进入控制面板。

图 6:使用 Calleido 拨打云 AutoML 电话

控制面板中的最终结果

Customer 360 数据库可用于内部后台业务系统,补充和通知客户支持。在单一视图的加持下,故障排除、退货和投诉处理都变得更加便捷、高效。

利用之前的客户通话信息,可确保为每一位客户提供最恰当、有效的回应。这些数据集还可导入分析系统,促进学习和优化,例如将负面情感和流失率相关联。

MongoDB 文档数据库的作用

在上述示例中,Calleido 负责将企业源系统中的数据复制和发送至 MongoDB Atlas——运营数据存储 (ODS)。

得益于 MongoDB 灵活的数据架构,我们能够以原始格式传输数据,后续还能够以迭代的方式执行必要的模式转换,无需运行复杂的模式迁移,快速交付单一视图数据库。

Image of Calleido's Data pipelines for copying products from PostgreSQL to MongoDB Atlas
Image of Calleido's Data pipelines for copying orders from PostgreSQL to MongoDB Atlas
图 7 和 8:使用 Calleido 数据管道,将产品和订单从 PostgreSQL 复制到 MongoDB Atlas

Calleido 可以让我们通过简单的几步便完成此转变。

  1. 此工具运行自定义 SQL 查询 (ExecuteSQL),汇总来自外部图表的全部所需数据,编译结果,以便进行并行处理。

  2. 收到的数据为 Avro 格式,Calleido 随后将其转换为 JSON (ConvertAvroToJSON),并转移至 MongoDB (JoltTransformJSON) 的模式中。

Customer 360 控制面板中的最终结果

MongoDB Atlas 是面向 Customer 360 数据库的行业领先之选。以下是其称为世界级标杆的主要原因:

  • MongoDB 可有效处理来自原有系统的非标准化模式,并存储为任意自定义属性

  • 数据模型包括作为嵌套文档的所有相关数据。有别于 SQL 数据库,MongoDB 可规避难以写入和操作的复的加入查询。

  • MongoDB 非常快速,当前的客户视图能够在几毫秒内呈现,无需引入缓存层。

  • MongoDB 灵活的模式模型可通过迭代的方式实现敏捷性。在最初的提取中,数据几乎可以按照原始形状进行复制,进而大幅降低延迟。在后续阶段中,无需繁琐的 SQL 迁移,即可标准化模式,提升数据质量。

  • MongoDB 可跨越多个数据中心存储几十 TB 数据,轻松实现横向扩展

  • 可跨越多个区域分享数据,有效应对合规性要求。

  • 可设置独立的分析节点,避免影响生产系统的性能。

  • MongoDB 在作为单一视图数据库运行上具有有迹可循的业绩记录,曾有多家大型传统组织在两周内即运行原型,一个业务季度内即投入生产。

  • MongoDB Atlas 可直接自动扩展,降低成本,应对流量高峰。

  • 数据可实现动态和静态加密,有助于满足安全和隐私标准,包括 GDPR、HIPAA、PCI-DSS 和 FERPA。

向客户追加销售:产品推荐

向客户追加销售是现代业务的关键环节之一,其成功的诀窍在于:减少直接推销,更多专注培养和引导。即使用数据识别客户所处的购买阶段,他们的所思所想以及通过何种产品或服务能够满足需求。

基于客户的购买记录,Calleido 可将数据发送至相应的工具(如 BigQuery ML),进而协助完成产品推荐。接着,这些内容可通过客服中心和市场营销团队进行线上或手机 APP 推送。

实现这一目标,涉及两个工作流:准备训练数据和生成产品推荐:

准备训练数据

  1. 首先,使用 ExecuteSQL 处理器将合适的数据从 PostgreSQL 转移至 BigQuery。数据管道可以编排为定期执行。

  2. 下一步,从 PostgreSQL 获取合适的数据,借助 ExecuteSQLRecord 处理器分割为 1,000 行的数据块。

  3. 接着,这些文件会传送至下一个处理器,通过负载平衡利用所有可用的节点。

  4. 然后,所有上述数据会通过 PutBigQueryStreaming 处理器插入至 BigQuery 表中。

Diagram of Copying Data from PostgreSQL to BigQuery with Calleido
图 9:通过 Calleido 从 PostgreSQL 复制数据至 BigQuery

生成产品推荐

接下来,我们介绍产品推荐的生成。

  1. 首先,必须购买 Big Query 容量槽,以最经济的方式使用 BigQuery ML 的各项功能。

  2. 此时,Calleido 会通过 ExecuteSQL 处理器调用 SQL 程序,确保所需的 BigQuery 容量可正常使用。

  3. 下一个处理器 (ExecuteSQL) 将执行 SQL 查询,使用从第一个工作流中复制的数据创建和训练 Matrix Factorization 机器学习模型。

  4. 随后,Calleido 使用 ExecuteSQL 处理器查询已受训的模型获取所有预测,并存储在专属的 BigQuery 表格中。

  5. 最后,Wait 处理器等待所有容量槽的移除,因为已不再需要。

Diagram of generating product recommendations with Calleido

Another diagram of generating product recommendations with Calleido
图 10 和 11:通过 Calleido 生成产品推荐
  1. 接着,我们借助两个处理器移除旧的推荐。首先,ReplaceText 处理器会更新即将开始的工作流文件内容,设置查询主体,方便DeleteMongo 处理器用于执行移除操作。
Digram of remocing old recommendations
图 12:移除旧的推荐
  1. 将推荐复制到 MongoDB 便完成了整个工作流。ExecuteSQL 处理器获取和集合每位用户的前 10 项推荐,均以 1,000 行的数据块呈现。接着,以下两个处理器(ConvertAvroToJSON 和 ExecuteScript)备好数据,通过 PutMongoRecord 处理器插入 MongoDB 集合。
Diagram of copying recommendations to MongoDB
图 13:将推荐复制到 MongoDB

Customer 360 控制面板中的最终结果(本示例中所用的数据为自动生成):

MongoDB Atlas 上 Calleido 360 客户数据库的优势

如果数据位于集中操作数据存储(如 MongoDB)中,那么可通过 Calleido 与分析数据存储(如 Google BigQuery)进行同步。借助Customer 360 数据库,内部相关方可将数据用于:

  • 通过细分和定向市场营销来提升客户满意度

  • 精准、快速访问合规性审计

  • 构建需求规划展望和市场趋势分析

  • 奖励客户忠诚,降低流失率

最终,客户单一视图不仅能够帮助企业机构向潜在的买家精准交付消息,还能将处于品牌认知阶段的客户引流到转化阶段,并确保客户保留和售后机制高效运转。

在过去,客户 360 视图是个繁杂、碎片化的过程;但现在依托 Cogniflare 的 Calleido 和 MongoDB Atlas,Customer 360 数据库已成为企业机构放心使用的功能强大、成本可控的数据管理堆栈。