[发明专利]一种通过计算集群进行网页排序的方法及装置

说明书

本发明实施例提供一种通过计算集群进行网页排序的方法及装置，所述方法包括：将pagerank矩阵保存在计算集群的磁盘上；从所述计算集群的磁盘载入pagerank矩阵；在所述计算集群的多个处理器的内存中分配空间，将pagerank矩阵和向量分块并行存储；利用所述计算集群的多个处理器并行执行pagerank矩阵和向量的矩阵向量积的计算，从而根据计算结果进行网页排序。上述技术方案具有如下有益效果：通过计算过程的优化，能够降低处理器间的通信量、提高处理器利用率，从而让求解速度更快。

技术领域

本发明涉及多处理器技术领域，尤其涉及一种通过计算集群进行网页排序的方法及装置。

背景技术

PageRank是一种按照网页的重要程度对网页排序的算法，PageRank的核心思想非常简单：如果一个网页被很多其他网页链接到的话说明这个网页比较重要，也就是PageRank值会相对较高。如果一个PageRank值很高的网页链接到一个其他的网页，那么被链接到的网页的PageRank值会相应地因此而提高。

求解PageRank值的众多方法中，特征值法是一个重要方法。该方法具体来说就是求解一个矩阵的特征向量。求解特征向量的方法有很多，举一个例子来说：“幂法”。

简单解释幂法：随机产生一个向量x_0，把它与矩阵A相乘得到x_1＝A*x_0；

再与A相乘得到x_2＝A*x_1；

再与A相乘……；

重复无穷多次得到的向量就是A的特征向量。实际上不用无穷多次，只要次数足够多就可以得到近似解。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：现有技术的计算速度太慢，幂法的收敛速度取决于最大特征值与第二大特征值之比。如果这两个特征值比较接近，它的收敛速度特别缓慢，计算速度也因此特别慢。

发明内容

本发明实施例提供一种通过计算集群进行网页排序的方法及装置，以提高技术速度。

一方面，本发明实施例提供了一种通过计算集群进行网页排序的方法，所述方法包括：

将pagerank矩阵保存在计算集群的磁盘上；

从所述计算集群的磁盘载入pagerank矩阵；

在所述计算集群的多个处理器的内存中分配空间，将pagerank矩阵和向量分块并行存储；

利用所述计算集群的多个处理器并行执行pagerank矩阵和向量的矩阵向量积的计算，从而根据计算结果进行网页排序。

另一方面，本发明实施例提供了一种通过计算集群进行网页排序的系统，所述系统有多个处理器，每个处理器有多个协处理器，所述系统将pagerank矩阵保存在计算集群的磁盘上；从所述计算集群的磁盘载入pagerank矩阵；在所述计算集群的多个处理器的内存中分配空间，将pagerank矩阵和向量分块并行存储；利用所述计算集群的多个处理器并行执行pagerank矩阵和向量的矩阵向量积的计算，从而根据计算结果进行网页排序。

上述技术方案具有如下有益效果：通过计算过程的优化，能够降低处理器间的通信量、提高处理器利用率，从而让求解速度更快。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例一种通过计算集群进行网页排序的方法流程图；

图2为本发明实施例处理器间的稀疏矩阵划分示意图；