[发明专利]列表页识别系统及方法

说明书

本发明公开了一种列表页识别系统，涉及互联网技术领域，该系统包括：页面框架ID计算模块，适于抽取预先获取的网页的页面框架，计算页面框架ID；模式累计模块，适于累计相同ID的页面框架数量达到阈值时，计算页面框架模式；列表页识别模块，适于按所述页面框架模式与事先建立的产品知识库中列表页的页面框架模式比对，以识别出列表页。本发明还公开了一种列表页识别方法。本发明的列表页识别系统及方法通过计算网页的页面框架模式并按模式在产品知识库比对，以识别出列表页，由此解决了列表页很难搜集全的问题，取得了全面搜集列表页，搜索的准确度高的有益效果。

本发明专利申请是申请日为2012年09月29日、申请号为201210376384.8、名称为“列表页识别系统及方法”的中国发明专利申请的分案申请。

技术领域

本发明涉及互联网技术领域，具体涉及一种列表页识别系统及方法。

背景技术

在搜索技术中，基本上分为两大类。一类是以整个互联网为对象，抓取全部网页(目前在一个站点内会限制抓取深度，且一般不处理js(java script)，而且只是处理部分动态页面)，并对网页进行处理和分析的网页搜索，即全网搜索。另一类是只针对某类页面进行抓取和分析处理的垂直搜索，如：图片搜索、视频搜索、博客搜索、论坛搜索、新闻搜索等。对于大部分垂直搜索来说，目前都是基于种子(也称作列表页)进行处理。垂直搜索的处理可分为两个部分：其一是找种子；其二是从种子页面上发现具体产品页面，即不同类别(图片、视频、新闻等)的页面，然后对这些产品页面进行处理。

基于列表页进行垂直搜索。先以人工或以某些预先指定的规则发现种子，然后对列表页进行变频抓取，从列表页面上发现垂直搜索产品的具体产品页面，对这些产品页面进行下载、分析处理，最终形成垂直搜索系统需要的数据。

传统的以人工方式或已知的一些规则收集列表页，很难把所有的列表页面收集全。而且网站改版后，旧的列表页会失效，而新的列表页又可能会漏掉。所以，在传统的垂直搜索引擎内，总有很多内容搜索不到，导致搜索的准确度不高。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的列表页识别系统及方法。

依据本发明的一个方面，提供了一种列表页识别系统，包括：

页面框架ID计算模块，适于抽取预先获取的网页的页面框架，计算页面框架ID；

模式累计模块，适于累计相同ID的页面框架数量达到阈值时，计算页面框架模式；

列表页识别模块，适于按所述页面框架模式与事先建立的产品知识库中列表页的页面框架模式比对，以识别出列表页。

可选地，页面框架ID计算模块进一步包括：页面框架抽取模块，适于根据网页源代码中的html语言标签抽取所述网页的页面框架。

可选地，页面框架ID计算模块进一步包括：页面框架抽取模块，适于按标点识别出网页正文，去除正文以得到所述网页的页面框架。

可选地，所述模式累计模块进一步包括：阈值调节模块，适于判断在预定时间内对应同一ID的页面框架数量是否累计达到所述阈值，若没有，则将该ID对应的阈值以一定的步长递减。

可选地，所述模式累计模块进一步包括：

待定列表页识别模块，适于判断是否有位于页面内固定位置块内且稳定存在一定时间的链接，若有，则设定该网页为待定列表页；

列表页框架模式确定模块，适于每隔一段时间内调度一次所述待定列表页，如果所述链接不断更新为新链接，就将所述网页的页面框架模式设为列表页框架模式。

可选地，所述产品知识库存储有已知类别页面框架模式及该模式下各网页特征的权重，所述列表页识别模块进一步包括：