[发明专利]一种识别网页URL中页码标识的方法和装置

说明书

技术领域

本发明涉及网页数据处理技术领域，具体涉及一种识别网页URL中页码标识的方法、一种识别网页URL中页码标识的装置。

背景技术

随着因特网的发展，愈来愈多的信息是通过网页方式呈现在因特网上供用户查询，同样的通过搜寻引擎在因特网中查询数据也成为最常使用的数据搜寻方法。

搜索引擎收录网页时需要针对不同种类的网页采取不同的调度策略，网页种类的识别是一项基础工作，其中翻页（Page turning）网页的识别是一项比较关键的工作。所谓翻页网页，即查看分页文件的上一个页面、下一个页面或任意存在的非当前页面。翻页网页可以将实体书或者移动Web窗体中的内容进行改变，以观看不同内容。在互联网上运用时该机制还呈现可用于浏览到其他页的用户界面元素。

现有的翻页网页的识别方法是根据网页的URL（Uniform ResourceLocator，统一资源定位符）所包含的关键词来识别是否是索引页。例如，当URL包含有page、pn、p等关键词以及关键词后面有数字时，判断该URL对应的网页为翻页网页。

但是，这种识别方法召回率低，并且很多网站的翻页是不具有这些关键词的，比如“http://cq.ABC.com/lvshi/o12/”、“http://bbs.BCA.com/t661_10”、“http://china.BCD.com/product/20110617/2647”，但是这些网页依然是翻页，使得这些识别方法容易造成误操作，实用性低。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种识别网页URL中页码标识的方法和相应的一种识别网页URL中页码标识的装置。

依据本发明的一个方面，提供了一种识别网页URL中页码标识的方法，包括：

获取指定网页的页面元素中翻页特征anchor对应链接到的关联URL；

依据所述指定网页的URL和所述关联URL计算关联网页URL模式pattern；

基于与指定网页对应的关联网页URL模式pattern，分别确定所述指定网页URL的页码特征部分以及所述关联URL中的页码特征部分；

比较所述指定网页URL与所述关联页URL的页码特征部分，提取不同数字标识部分识别为指定网页URL的页码标识。

可选地，所述获取指定网页的页面元素中翻页特征anchor对应链接到的关联URL的步骤包括：

使用翻页特征anchor在指定网页的DOM树节点中进行匹配；

当匹配成功时，则从匹配成功的翻页特征anchor中获取关联URL。

可选地，所述翻页特征anchor对应链接一个或多个关联URL。

可选地，所述依据所述指定网页的URL和所述关联URL计算关联网页URL模式pattern的步骤包括：

使用通配字符替换指定网页的URL中的数字块，获得第一特征URL前缀；其中，所述数字块为被间隔标识分割出的单个数字或多个数字；

使用通配字符替换所述关联URL中的数字块，获得第二特征URL前缀；

当所述第一特征URL前缀与所述第二特征URL前缀相同时，将所述第一特征URL前缀或第二特征URL前缀作为关联网页URL模式pattern。

可选地，所述使用通配字符替换指定网页的URL中的数字块，获得第一特征URL前缀的步骤为：

采用相同的通配字符替换指定网页的URL中不同位置的数字块，获得第一特征URL前缀；

所述使用通配字符替换所述关联URL中的数字块，获得第二特征URL前缀的步骤为：

采用相同的通配字符替换所述关联URL中不同位置的数字块，获得第二特征URL前缀。

可选地，所述使用通配字符替换指定网页的URL中的数字块，获得第一特征URL前缀的步骤为：

分别采用不同的通配字符，替换指定网页的URL中不同位置的数字块，获得第一特征URL前缀；

所述使用通配字符替换所述关联URL中的数字块，获得第二特征URL前缀的步骤为：

分别采用与第一特征URL相同的通配字符替换所述关联URL在相同位置的数字块，获得第二特征URL前缀。

可选地，所述页码标识包括首页标识，所述首页标识包括0、1和/或当前关联网页中的最大数值。

根据本发明的另一方面，提供了一种识别网页URL中页码标识的装置，包括：

关联URL获取模块，适于获取指定网页的页面元素中翻页特征anchor对应链接到的关联URL；