[发明专利]一种基于非概率模型的垃圾网页降级方法

权利要求书

1.一种基于非概率模型的垃圾网页降级方法，其特征在于，包括步骤：

S100，通过网络爬虫爬取网页并对其内容进行解析，获取网页URL列表；

S200，根据获得的URL列表计算得到节点邻接表；

S300，根据节点邻接表构建节点网络图；所述节点网络图结构为G＝(V,E)，G为有向无权图；其中，V为所有节点的集合，E为所有边的集合；如果节点v_i存在，且存在由节点v_i指向节点v_j的链接，则有＜v_i,v_j＞∈E；对于任意节点v_i，指向自己的链接不包含在E中，即

S400，采用PageRank算法对节点网络图中节点进行排序，对排名靠前的网页依次分类标注，所述分类标注包括正常网页和垃圾网页；

S500，对已标注的网页赋予评分初始值和跳转概率初始值；采用迭代算法进行值传播，直到算法收敛，获得节点评分值；包括步骤：

对每一个节点v_i，记G(v_i)表示其正向排序值，B(v_i)表示其逆向排序值，In(v_i)表示v_i的父节点集合，Out(v_i)表示v_i的子节点集合；

采用迭代算法计算每个节点的G(v_i)和B(v_i)，计算公式为：

其中，

G(v_i)和B(v_i)的初始值由IG(v_i)和IB(v_i)计算；λ取值0.85；算法迭代次数为100次；S_n为正常网页集合，Ss为垃圾网页集合；

S600，根据所述节点评分值对节点网络图中所有节点进行降序排序，得到页面的最终排序结果。

2.根据权利要求1所述的一种基于非概率模型的垃圾网页降级方法，其特征在于，将所获取网页的URL链接和其链出的URL链接以邻接表的形式存储在数据库中。

3.根据权利要求1所述的一种基于非概率模型的垃圾网页降级方法，其特征在于，在所述步骤S400中，对排名靠前的网页依次分类标注，包括步骤：

从排名最高的节点开始，依次进行标注，直到标注的正常网页和垃圾网页数量均不少于100个；标注后的正常网页集合为S_n，垃圾网页集合为Ss。

4.根据权利要求1所述的一种基于非概率模型的垃圾网页降级方法，其特征在于，根据所述节点评分值对节点网络图中所有节点进行降序排序时，节点v_i的G(v_i)和B(v_i)用来作为节点是正常网页和垃圾网页的非归一化概率近似值；若G(v_i)越大，则节点v_i是正常网页的可能性越大；若B(v_i)越大，则节点v_i是垃圾网页的可能性越大。

5.根据权利要求4所述的一种基于非概率模型的垃圾网页降级方法，其特征在于，在采用迭代算法进行值传播的过程中，源节点传播的值经过两次衰减，一次衰减使用源节点的信息，一次衰减使用目标节点的信息，计算过程为：

节点v_i的不衰减传播值为：

节点v_i为正常页面的概率为：

节点v_j为正常页面的概率为：

若v_i,v_j∈E，则将p(v_i)和p(v_j)作为衰减因子得到节点v_i传播给节点v_j的值为：

其中，|out(v_i)|为节点v_i的子节点数。