[发明专利]基于迁移学习分布式期望最大化金融数据聚类方法及系统

说明书

本发明公开了一种基于迁移学习分布式期望最大化金融数据聚类方法，用于细分金融领域分布式P2P网络环境下的客户数据。包括：获取待聚类客户金融数据的业务部门并将各部门数据进行集群分布式存储；各个节点分别进行聚类分析，得到初始聚类结果，并基于各个节点上的初始聚类结果进行统计分析，得到迁移学习的初始模型参数集合；根据设定的目标函数，基于当前模型参数集合计算当前模型目标函数值；在邻居节点之间进行模型参数迁移；对于各个节点上的每个数据点进行类别划分。本发明通过在分布式期望最大化算法中引入迁移学习项，能够显示揭示节点间的协作机制，加速算法收敛，同时，提高聚类精度，精准细分金融客户。

技术领域

本发明属于金融数据挖掘技术领域，尤其涉及一种基于迁移学习分布式期望最大化金融数据聚类方法及系统。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

用户运营领域的应用，从典型应用场景看，产品运营方面以产品精准营销为主线，包括产品推广、个性化推介以及营销渠道分析等细分环节。用户运营方面以用户群的精准识别和特征分类为重点。

在如今智能手机、平板电脑、可穿戴设备、传感器以及物联网等移动终端大规模普及的时代，精细化运营成为金融领域的核心竞争力。金融行业的客户群体在不断分化，不同年龄，不同消费习惯，不同偏好的客户对金融产品的需求都不尽相同，很少存在一种产品能够满足所有客户的需求，同时，金融产品也需要精细化，为不同的客户定制不同产品。只有真正掌握客户的行为需求，才能进一步开展精准营销与个性化推荐，从而为企业创造更大的商业价值。聚类作为重要的数据挖掘工具之一，在用户细分、个性化推荐、图像分割等领域已得到广泛的应用。基于期望最大化(Expectation maximization,EM)的数据聚类，由于其严谨的数学推理与强大的拟合能力，深受计算机科学界与统计学界学者们的青睐。然而，随着高性能计算与分布式网络的不断发展，金融数据往往分散到不同的处理节点上，不同业务部门之间无法直接实现数据共享，只能共享某些提炼后的知识信息；另一方面，金融企业有时还需要借助外部行业数据或有利知识，来补充和完善自己的用户数据库。在这种情况下，无法将全部用户数据集中到同一个处理中心进行统一聚类，传统的集中式聚类算法将不再适用。如图2所示，考虑到数据隐私和安全保护的需要，或者每个处理节点上通信资源的限制，将所有业务部门的数据收集并汇总到一个中央单元进行统一聚类通常是无法实现的。因此，迫切需要开发分布式聚类算法来解决分布式对等(peer-to-peer,P2P)网络环境下的金融数据聚类问题。这一挑战性任务长期以来备受学者们的关注，也提出了很多分布式聚类算法。专利201811397114.9提出了一种基于平均共识的分布式模糊c均值聚类算法用于处理同步传感器网络数据，专利202010131908.1提出了物联网环境下基于平均共识的分布式软聚类算法，这两种方法与现有技术相比，能提升聚类准确度，但利用平均共识策略在更新聚类中心时需要消耗大量迭代时间以达到全局一致，导致聚类效率低下。此外，节点间共享参数的协作机制隐藏在聚类迭代过程中，也不能很好地揭示和解释。

发明内容

为克服上述现有技术的不足，本发明提供了一种基于迁移学习分布式期望最大化金融数据聚类方法及系统。

为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：

一种基于迁移学习分布式期望最大化金融数据聚类方法，包括以下步骤：

获取待聚类客户金融数据的业务部门并将各部门数据进行集群分布式存储；

各个节点分别进行聚类分析，得到初始聚类结果，并基于各个节点上的初始聚类结果进行统计分析，得到迁移学习的初始模型参数集合；

根据设定的目标函数，基于当前模型参数集合计算当前模型目标函数值；在邻居节点之间进行模型参数迁移，计算新的模型目标函数值，若两次模型目标函数值的差值超过设定阈值，重复该步骤，否则，迭代终止；

对于各个节点上的每个数据点进行类别划分。