[发明专利]一种基于大数据技术应用的资金交易圈识别方法

说明书

本发明公开了一种基于大数据技术应用的资金交易圈识别方法，主要包括以下几个步骤：分表步骤、定义步骤和识别步骤；本发明有效解决在百亿量级数据上快速定位两交易者在K层内的所有路径，有效识别两交易者所属的资金交易圈，进而可深入挖掘两交易者之间可能存在的某种利益关系及其所在交易圈其他成员情况，在深度优先或者广度优先遍历的方式下，通过一端交易者查询K度邻居方式去发现与另一端交易者的所有交易路径，因此，本发明的查询方法显著优于直接采用遍历的查询方式。

技术领域

本发明涉及金融科技领域，具体是一种基于大数据技术应用的资金交易圈识别方法。

背景技术

随着信息技术与互联网金融的快速发展，网上移动转账与支付数据急剧增长，资金交易的收款方与付款方之间的关系日趋复杂。现有资金交易流水数据中隐藏的诸多有价值的信息有待挖掘，基于交易者之间的转账记录，可以刻画出交易者之间的资金交易关系，构建以交易者为节点的资金交易圈。

在百亿量级的资金交易数据中，通过快速查询两交易者之间K层内的所有资金交易路径，能够及时发现两交易者所属的资金交易圈，进而能够有效分析出两交易者之间可能存在的关系。

目前，对于少量数据查询两交易者的资金交易路径是较为容易，通常将资金交易数据转换成图结构，图中的节点表示交易者，边表示交易，借助深度优先或者广度优先遍历算法查找在K层内查找任意两节点之间所有资金交易路径。但是，对于百亿量级的交易数据查询两交易者之间的所有资金交易路径，存在一定的局限性，直接使用遍历方式效率较差甚至无法查询出。如何利用大数据技术，从百亿量级的数据中快速定位两交易者之间K层内所有资金交易路径(即:长度小于等于K的所有路径)，对挖掘两交易者所属的资金交易圈及其之间可能存在的某种关系尤为重要。

发明内容

本发明的目的在于提供一种基于大数据技术应用的资金交易圈识别方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

一种基于大数据技术应用的资金交易圈识别方法，包括：分表步骤、定义步骤和识别步骤。

分表步骤：全量百亿量级资金数据分表成M张较小数据量的子表，并标号为1～M。针对某一笔转账行为，定义收款方甲和付款方乙分别为两位交易者，则收款方甲的一度邻居有付款方乙，付款方乙的一度邻居有收款甲。

对于第一张表，以其内任意交易者为出发点，分别存储该交易者1度邻居、2度邻居、3度邻居表，直至度邻居表，即将由任意交易者出发生成的层路径分别存储在第一张表对应的各度邻居表中。

对于第二张表，类似第一张表的中的所述方式，将层路径分别存储在第二张表对应的各度邻居表中。

以增量的方式，将第一张表对应的1度邻居表与第二张表中的1度邻居表去重、汇总成新的2张1度邻居表；将第一张表对应的2度邻居表、第二张表对应的2度邻居表以及第二张表对应的1度邻居表与第一张表对应的1度邻居表分别进行左右join形成2度邻居表，4张2度邻居表去重后、汇总成新的4张2度邻居表；将第一张表对应的3度邻居表、第二张表对应的3度邻居表、第一张表对应的2度邻居表和第二张表对应的1度邻居表分别进行左右join形成3度邻居表以及第一张表对应的1度邻居表和第二张表对应的2度邻居表分别进行左右join形成3度邻居表，6张3度邻居表去重后、汇总成新的6张3度邻居表，依此类推，分别找出增量后的邻居表集合。

对于第i直至M张表，先生成其对应的各度邻居表，再以类似的增量方式，与已获得到的邻居表集合进行左右join、去重、汇总成新的各度邻居表集合。

对于待分析K层内所有路径的两个交易者，基于百亿量级资金交易数据生成的任意交易者的各度邻居表集合，分别查找以两者为出发点的度邻居表集合与度邻居表集合，找到与两交易者相关的路径，判断各条路径的邻居是否是为对端或者是否存在公共邻居，据此定位到两交易者在K层内的所有路径，即为两交易者所属的资金交易圈。