[发明专利]一种垃圾网页检测方法

摘要

本发明公开了一种垃圾网页检测方法，包括以下步骤：一：对数据集进行K‑Means算法，将全部对象n用数据集D存储；二：对数据集D进行IPR计算，并将IPR值按照从高到低顺序进行排序；三：在数据集中选取IPR值最大和最小的网页作为初始的聚类中心C；四：计算数据集D中的xi与cj间的距离dist(xi,cj)，并将dist(xi,cj)划分到与之相距最小的中心所处的簇中；五：查看聚集结束时的聚类中心，得到新的cj表达式；六：重复步骤四至步骤六，将目标函数用SSE表示，直到SSE取最小值时算法终止；得到最终聚类结果，以此识别垃圾网页。该方法能够克服传统推荐技术在分配链接权重时忽略网页重要性的缺点，结合个性化网页排序，达到将网页以聚集的形式来检测垃圾网页的目的。

主权项

一种垃圾网页检测方法，其特征在于，基于IPR算法和K‑Means算法相结合形成有IPK‑Means算法，包括以下步骤：步骤一：对数据集进行K‑Means算法，将全部对象n用数据集D存储；k值起始值为2，分别代表垃圾网页和非垃圾网页；步骤二：对数据集D进行IPR计算，并将IPR值按照从高到低顺序进行排序；步骤三：在数据集中选取IPR值最大和最小的网页作为初始的聚类中心C；步骤四：计算数据集D中的xi与cj间的距离dist(xi,cj)，并将dist(xi,cj)划分到与之相距最小的中心所处的簇中；其中xi是一个d维向量，表示第i个数据的d个不同属性；cj表示第j个中心，每个cj含有d个不同属性；步骤五：查看聚集结束时的聚类中心，得到新的cj表达式；步骤六：重复步骤四至步骤六，将目标函数用SSE表示，直到SSE取最小值时算法终止；即簇的平方误差取到最小的k个簇，从而得到最终的聚类结果，以此识别垃圾网页。