[发明专利]一种分布式计算图节点相似度的方法

说明书

技术领域

本发明属于计算机数据挖掘领域，具体涉及一种分布式计算图节点相似度的方法。

背景技术

随着图结构的广泛应用，计算两节点相似度已经成为一种基本的图操作方法。例如，针对一个社交网络所建立的图模型中，节点代表个人账号，节点之间的边代表个人账号之间的关系，节点相似度可表述成为两个账号的关联程度，其在探测相似人群以及朋友推荐中有重要应用；又如，针对引文网络所建立的图模型中，节点代表文章，节点之间的边代表文章之间的引用关系，而节点相似度可应用于文章分类及相似文章推荐。

目前，已有多种计算节点相似度的方法，其中SimRank方法因具有高准确性而被广泛应用。传统SimRank方法计算复杂性很高，计算方法如下：对于给定的有向图，令s(a，b)表示节点a和b之间的相似性，则这两个节点的SimRank相似度如下：

1)若a＝b，则s(a，b)＝1；2)若a≠b，则s(a，b)的计算公式如下：

其中，C为衰减因子，是介于0，1之间的常数；|I(a)|和|I(b)|分别为节点a和b的入邻居个数；I_i(a)表示节点a的第i个入邻居，I_j(b)表示节点b的第j个入邻居。

在初始化阶段，若a≠b，则R₀(a，b)＝0，否则R₀(a，b)＝1，然后按下式进行迭代： 其中R_k+1(a，b)表示节点a和b之间的第k+1次迭代的SimRank相似度；在每次迭代过程中，依次算出所有节点对之间的相似度后进入下一次迭代，在迭代计算次后，可得R_k(a，b)为节点对(a，b)的SimRank相似度，其中ε为用户所能容忍的误差大小；

由公式可知，相同或相似节点的出邻居节点也具有高相似性，在迭代计算节点对相似度时，需通过节点对的入邻居的相似度对该节点对相似度进行更新，则s(a，b)＝lim_k→∞R_k(a，b)。可以看出，该方法计算复杂性过高，且在计算过程中需等待前一次迭代计算全部完成后才能进行下一次迭代计算。

为降低传统SimRank计算复杂度，人们提出了多种SimRank优化计算方法，例如：基于局部和的SimRank优化计算方法、基于随机游走的SimRank计算方法以及基于GPU的SimRank 并行计算方法等。其中基于随机游走的SimRank优化计算方法中，节点a和b之间SimRank相似度计算公式为s(a，b)＝∑_{t：(a，b)→m}P[t]C^l(t)，其中t表示分别从节点a和b出发，沿入边方向游走，经过相同步数，首次在节点m相遇的两条路径，P[t]表示该相遇发生的概率；l(t)表示路径的长度；并称这两条路径形成了一次从节点对(a，b)到节点m的首遇游历(tour)，P[t]C^l(t)为游历值，同样称l(t)为该游历的长度；

上述的多种SimRank优化计算方法计算复杂性均达到o(Kn⁴)，其中K表示迭代计算次数，n表示图中节点个数。对于大规模图数据，如大型社交网络、网页数据以及引文信息网络，这些网络中节点的数量和边的数量异常庞大，由于这些计算方法仅在单个计算机中进行处理，而单个计算机CPU计算能力有限，导致计算时间过长。据实验测试，传统单机方法在2.1GHz英特尔奔腾处理器且1G内存的实验环境中，处理10000个节点的图数据需要的计算时间大致46个小时。

基于随机游走的SimRank优化计算方法在计算节点对(a，b)相似度时，需得到所有以(a，b)为端点的路径，因此可在分布式环境中对其实现：以节点对为划分单元对相似度计算任务进行划分，每台计算机处理计算多个节点对的相似度大小。然而这种计算方法复杂性过高，且需多次图数据读取操作。

发明内容

针对现有技术存在的不足，本发明提供一种分布式计算图节点相似度(DcSimRank)的方法。

本发明的技术方案：

一种分布式计算图节点相似度的方法，包括如下步骤：

步骤1：采用主从(master-slave)模式搭建分布式计算平台；

搭建的分布式环境中共有N台计算机，将其中一台计算机作为主(master)计算机，其余N-1台计算机均作为子(slave)计算机；

步骤2：主计算机读入现有的对象数据，建立图模型并发送给分布式计算平台中的每台子计算机；