[发明专利]网页分类系统及方法

说明书

技术领域

本发明涉及互联网技术领域，具体涉及一种网页分类系统及方法。

背景技术

在搜索技术中，基本上分为两大类。一类是以整个互联网为对象，抓取全部网页（目前在一个站点内会限制抓取深度，且一般不处理js（java script），而且只是处理部分动态页面），并对网页进行处理和分析的网页搜索，即全网搜索。另一类是只针对某类页面进行抓取和分析处理的垂直搜索，如：图片搜索、视频搜索、博客搜索、论坛搜索、新闻搜索等。对于大部分垂直搜索来说，目前都是基于种子（也称作列表页）进行处理。垂直搜索的处理可分为两个部分：其一是找种子；其二是从种子页面上发现具体产品页面，即不同类别（图片、视频、新闻等）的页面，然后对这些产品页面进行处理。

现有的全网搜索，基本上不考虑垂直搜索的需求。对每一个页面的处理原则基本上是一致的。就是分析这个页面后，获取其上全部的链接。全网搜索系统不需要区别这些链接是本网站的链接，还是指向其他网站的链接。所有新发现的链接都会回馈给系统进行新一轮的调度、下载和分析处理。在抽取页面上的内容时，全网搜索基于单独页面进行处理。如果使用通用算法，只能抽取粗略的内容，无法仔细区分不同的数据项。如果采用定向模板的方式进行抽取，虽然可以精确抽取各种数据内容，却存在人工工作量大，且无法适用网站改版的问题。

而且，现有的全网搜索无法区分网页类别，只能为垂直搜索辅助发掘一些有用的信息。如果既有垂直搜索，由于网页搜索，两者的分析处理方式不同。系统之间互相独立，全网搜索下载、分析处理过的页面，垂直搜索还会独立的进行下载和分析处理，无法共享资源。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的网页分类系统及方法。

依据本发明的一个方面，提供了一种网页分类系统，包括：

页面框架ID计算模块，适于抽取预先获取的网页的页面框架，计算页面框架ID；

模式累计模块，适于累计相同ID的页面框架数量达到阈值时，计算页面框架模式；

网页类别识别模块，适于将所述页面框架模式与事先建立的产品知识库中已知类别的页面框架模式比对，以识别出网页所属的类别。

可选地，页面框架ID计算模块进一步包括：页面框架抽取模块，适于根据网页源代码中的html语言标签抽取所述网页的页面框架。

可选地，页面框架ID计算模块进一步包括：页面框架抽取模块，适于按标点识别出网页正文，去除正文以得到所述网页的页面框架。

可选地，所述模式累计模块进一步包括：阈值调节模块，适于判断在预定时间内对应同一ID的页面框架数量是否累计达到所述阈值，若没有，则将该ID对应的阈值以一定的步长递减。

可选地，所述模式累计模块进一步包括：

待定列表页识别模块，适于判断是否有位于页面内固定位置块内且稳定存在一定时间的链接，若有，则设定该网页为待定列表页；

列表页框架模式确定模块，适于每隔一段时间内调度一次所述待定列表页，如果所述链接不断更新为新链接，就将所述网页的页面框架模式设为列表页框架模式。

可选地，所述产品知识库存储有已知类别页面框架模式及该模式下各网页特征的权重，所述网页类别识别模块进一步包括：

特征匹配模块，适于将所述页面框架模式的各网页特征与知识库中已知类别的页面框架模式的各网页特征进行匹配；

特征评分模块，适于对匹配上的网页特征按不同的类别为所述页面框架模式增加相应的权重；

权重累计模块，适于按类别累计所述页面框架模式在该类别下所得的权重，将所述页面框架模式归为对应最高权重的类别。

可选地，所述系统还包括：列表页处理模块，适于若识别出网页为列表页，则提取所述列表页的内容，进一步获取所述列表页中列出的信息对应的网页。

可选地，所述系统还包括：网页获取模块，适于通过全网搜索获取网页，并以站点为单位获取网页，同一站点下不同域名的对应的网页存储在相同的根目录下。

根据本发明的另一方面，提供了一种网页分类方法，包括以下步骤：

抽取预先获取的网页的页面框架，并计算页面框架ID；

累计相同ID的页面框架数量达到阈值时，计算页面框架模式；

将所述页面框架模式与事先建立的产品知识库中已知类别的页面框架模式比对，以识别出网页所属的类别。

可选地，抽取所述网页的页面框架的方式为：根据网页源代码中的html语言标签抽取所述网页的页面框架。