[发明专利]一种网页聚类方法及装置

说明书

本发明公开了一种网页聚类方法及装置，用于实现按照网页框架对网页进行聚类，包括：获取多个待聚类页面的统一资源定位符URL；针对每个待聚类页面的URL，确定该URL的重写规则并按照该URL的重写规则进行URL分类；针对每个URL分类，确定该URL分类中的各URL所对应的页面的页面框架，并根据各URL所对应的页面的页面框架确定各URL是否可聚类；若各URL可聚类，则保留该URL分类。通过上述方法，可以将具有相同页面框架结构的网页聚为一类，从而克服了现有聚类方法无法根据网页框架进行聚类的问题，提供了一种更适用于涉及页面框架的处理过程的聚类方法。

技术领域

本发明涉及计算机技术领域，尤其涉及一种网页聚类方法及装置。

背景技术

现有的网页聚类方法主要是基于网页文本特征的聚类，即提取关键内容或出现频率较高的词汇作为特征值进行聚类，从而将内容相似的页面聚为一类，这种聚类方法仅适用于如文本检索等文本处理方面可以明显提高处理效率。

但是，网页除具备文本特征外，还具有包含超链接、内容半结构化、规模庞大、格式异构等特点，对于具有相同网页框架的同一类网页，其文本特征可能存在差异，即，根据网页的文本特征进行聚类并不能将相同框架的网页聚为一类，因此，根据网页文本特征聚类的方法在与网页框架有关的处理方面并不适用。相同框架的页面有着相同的业务流程或数据处理流程，若能够将相同框架的页面聚为一类，那么其中的一个页面就可以代表这一类页面。在针对大型框架类站点进行处理的应用，比如爬虫、站点地图、漏洞检测等方面，采用这种网页聚类技术，可以在保证结果全面的情况下，大大提高效率。因此，目前仍缺少一种可以按照网页框架结构对网页聚类的方法。

发明内容

本发明提供一种网页聚类方法及装置，用以解决现有技术中存在的不能按照网页框架对网页进行聚类的问题。

本发明实施例提供一种网页聚类方法，包括：

获取多个待聚类页面的统一资源定位符URL；

针对每个待聚类页面的URL，确定该URL的重写规则并按照该URL的重写规则进行URL分类；

针对每个URL分类，确定该URL分类中的各URL所对应的页面的页面框架，并根据各URL所对应的页面的页面框架确定各URL是否可聚类；若各URL可聚类，则保留该URL分类。

可选地，针对每个待聚类页面的URL，确定该URL的重写规则并按照该URL的重写规则进行URL分类，包括：

将多个待聚类页面的URL作为URL集合；

根据URL集合中任意两个不同URL，提取两个不同URL的重写规则；

确定两个不同URL的重写规则是否为可信重写规则，若为可信重写规则，从URL集合中查找符合可信重写规则的URL作为同一URL分类；

从URL集合中删除同一URL分类中的URL，返回根据URL集合中任意两个不同的URL，提取两个不同URL的重写规则的步骤。

可选地，根据URL集合中任意两个不同的URL，提取两个不同URL的重写规则，包括：

从URL集合中提取第一URL和第二URL，确定第一URL和第二URL的重写规则；

方法还包括：

若第一URL和第二URL的重写规则为不可信的重写规则，则从URL集合中提取第三URL和第四URL，确定第三URL和第四URL的重写规则，并返回确定两个不同URL的重写规则是否可信重写规则的步骤，第三URL和第四URL中至少有一个为URL集合中除第一URL和第二URL之外的其它URL。

可选地，通过以下方法判断重写规则是否可信，包括：