[发明专利]一种垃圾网页检测方法

权利要求书

1.一种垃圾网页检测方法，其特征在于，基于IPR算法和K-Means算法相结合形成有IPK-Means算法，包括以下步骤：

步骤一：对数据集进行K-Means算法，将全部对象n用数据集D存储；k值起始值为2，分别代表垃圾网页和非垃圾网页；

步骤二：对数据集D进行IPR计算，并将IPR值按照从高到低顺序进行排序，

IPR计算如下式所示

在上式中，N表示全部网页的个数，d代表矩阵，B_i为检测到的非垃圾网页数目；矩阵存储网页在最开始时的值；OUT_X表示X向外指向了多少网页，首先统计B_i向外链接多少个页面，然后再将每个页面的所有链出页面都加起来；表示节点X的链出数在所有B_i指向节点的的链出数所占的比重，节点X也是根据这个比重分得B_i的IPR值；

步骤三：在数据集中选取IPR值最大和最小的网页作为初始的聚类中心C；

步骤四：计算数据集D中的x_i与c_j间的距离dist(x_i,c_j)，并将dist(x_i,c_j)划分到与之相距最小的中心所处的簇中；其中x_i是一个d维向量，表示第i个数据的d个不同属性；c_j表示第j个中心，每个c_j含有d个不同属性；

步骤五：查看聚集结束时的聚类中心，得到新的c_j表达式；

步骤六：重复步骤四至步骤六，将目标函数用SSE表示，直到SSE取最小值时算法终止；即簇的平方误差取到最小的k个簇，从而得到最终的聚类结果，以此识别垃圾网页。

2.根据权利要求1所述一种垃圾网页检测方法，其特征在于，所述数据集D来源于WEBSPAM-UK2007数据集。

3.根据权利要求1所述一种垃圾网页检测方法，其特征在于，步骤三中，IPR值高的网页，表示该网页权威程度较高，则其属于非垃圾网页的概率增加；反之，其属于非垃圾网页的概率降低。