[发明专利]一种网页聚类方法及装置

权利要求书

1.一种网页聚类方法，其特征在于，包括：

获取多个待聚类页面的统一资源定位符URL；

针对每个待聚类页面的URL，确定该URL的重写规则并按照该URL的重写规则进行URL分类；

针对每个URL分类，确定该URL分类中的各URL所对应的页面的页面框架，并根据所述各URL所对应的页面的页面框架确定所述各URL是否可聚类；若所述各URL可聚类，则保留该URL分类；

其中，针对每个URL分类，确定该URL分类中的各URL所对应的页面的页面框架，并根据所述各URL所对应的页面的页面框架确定所述各URL是否可聚类，包括：

针对所述各URL分类中的每个URL，获取该URL所对应的页面的超文本标记语言HTML文件；根据所述HTML文件中的标签信息，获取所述HTML文件的指纹特征值；

对比所述各URL的指纹特征值之间的差值是否低于设定阈值；

若低于所述设定阈值，则确定所述各URL为可聚类。

2.如权利要求1所述的方法，其特征在于，针对每个待聚类页面的URL，确定该URL的重写规则并按照该URL的重写规则进行URL分类，包括：

将所述多个待聚类页面的URL作为URL集合；

根据所述URL集合中任意两个不同URL，提取所述两个不同URL的重写规则；

确定所述两个不同URL的重写规则是否为可信重写规则，若为可信重写规则，从所述URL集合中查找符合所述可信重写规则的URL作为同一URL分类；

从所述URL集合中删除所述同一URL分类中的URL，返回根据所述URL集合中任意两个不同的URL，提取所述两个不同URL的重写规则的步骤。

3.如权利要求2所述的方法，其特征在于，根据所述URL集合中任意两个不同的URL，提取所述两个不同URL的重写规则，包括：

从所述URL集合中提取第一URL和第二URL，确定所述第一URL和所述第二URL的重写规则；

所述方法还包括：

若所述第一URL和所述第二URL的重写规则为不可信的重写规则，则从所述URL集合中提取第三URL和第四URL，确定所述第三URL和所述第四URL的重写规则，并返回确定所述两个不同URL的重写规则是否可信重写规则的步骤，所述第三URL和所述第四URL中至少有一个为所述URL集合中除所述第一URL和所述第二URL之外的其它URL。

4.如权利要求1所述的方法，其特征在于，根据所述HTML文件中的标签信息，获取所述HTML文件的指纹特征值，包括：

从所述HTML文件中提取各标签的属性值，不同属性对应具有各自的属性权重值；

依据各标签在所述HTML文件中的位置不同，确定各标签的位置权重值；

根据各标签的位置权重值、各标签中不同属性的属性值及属性权重值，得到所述HTML文件的指纹特征值。

5.如权利要求4所述的方法，其特征在于，根据各标签的位置权重值、各标签中不同属性的属性值及属性权重值，得到所述HTML文件的指纹特征值，包括：

所述HTML文件中的位置包括头中尾各部分，其中，头部位置的标签的位置权重高于中部位置的标签的位置权重，尾部位置的标签的位置权重高于中部位置的标签的位置权重；

标签的属性包括身份属性、类别属性和非典型属性，所述非典型属性为除身份属性和类别属性之外的属性，其中，所述身份属性的属性权重值高于所述非典型属性的属性权重值，所述类别属性的属性权重值高于所述非典型属性的属性权重值。