[发明专利]网页分类系统及方法

权利要求书

1.一种网页分类系统，包括：

页面框架ID计算模块，适于抽取预先获取的网页的页面框架，计算页面框架ID；

模式累计模块，适于累计相同I D的页面框架数量达到阈值时，计算页面框架模式；

网页类别识别模块，适于将所述页面框架模式与事先建立的产品知识库中已知类别的页面框架模式比对，以识别出网页所属的类别。

2.如权利要求1所述的网页分类系统，其特征在于，页面框架I D计算模块进一步包括：页面框架抽取模块，适于根据网页源代码中的html语言标签抽取所述网页的页面框架。

3.如权利要求1或2所述的网页分类系统，其特征在于，页面框架ID计算模块进一步包括：页面框架抽取模块，适于按标点识别出网页正文，去除正文以得到所述网页的页面框架。

4.如权利要求1~3中任一项所述的网页分类系统，其特征在于，所述模式累计模块进一步包括：阈值调节模块，适于判断在预定时间内对应同一ID的页面框架数量是否累计达到所述阈值，若没有，则将该ID对应的阈值以一定的步长递减。

5.如权利要求1~4中任一项所述的网页分类系统，其特征在于，所述模式累计模块进一步包括：

待定列表页识别模块，适于判断是否有位于页面内固定位置块内且稳定存在一定时间的链接，若有，则设定该网页为待定列表页；

列表页框架模式确定模块，适于每隔一段时间内调度一次所述待定列表页，如果所述链接不断更新为新链接，就将所述网页的页面框架模式设为列表页框架模式。

6.如权利要求1~5中任一项所述的网页分类系统，其特征在于，所述产品知识库存储有已知类别页面框架模式及该模式下各网页特征的权重，所述网页类别识别模块进一步包括：

特征匹配模块，适于将所述页面框架模式的各网页特征与知识库中已知类别的页面框架模式的各网页特征进行匹配；

特征评分模块，适于对匹配上的网页特征按不同的类别为所述页面框架模式增加相应的权重；

权重累计模块，适于按类别累计所述页面框架模式在该类别下所得的权重，将所述页面框架模式归为对应最高权重的类别。

7.如权利要求1~6中任一项所述的网页分类系统，其特征在于，所述系统还包括：列表页处理模块，适于若识别出网页为列表页，则提取所述列表页的内容，进一步获取所述列表页中列出的信息对应的网页。

8.如权利要求1~7中任一项所述的网页分类系统，其特征在于，所述系统还包括：网页获取模块，适于通过全网搜索获取网页，并以站点为单位获取网页，同一站点下不同域名的对应的网页存储在相同的根目录下。

9.一种网页分类方法，包括以下步骤：

抽取预先获取的网页的页面框架，并计算页面框架ID；

累计相同ID的页面框架数量达到阈值时，计算页面框架模式；

将所述页面框架模式与事先建立的产品知识库中已知类别的页面框架模式比对，以识别出网页所属的类别。

10.如权利要求9所述的网页分类方法，其特征在于，抽取所述网页的页面框架的方式为：根据网页源代码中的html语言标签抽取所述网页的页面框架。

11.如权利要求9或10所述的网页分类方法，其特征在于，抽取所述网页的页面框架的方式为：按标点识别出网页正文，去除正文以得到所述网页的页面框架。

12.如权利要求9~11中任一项所述的网页分类方法，其特征在于，判断在预定时间内对应同一ID的页面框架数量是否累计达到所述阈值，若没有，则将该ID对应的阈值以一定的步长递减。

13.如权利要求9~12中任一项所述的网页分类方法，其特征在于，所述列表页框架模式的计算方式为：

判断是否有位于页面内固定位置块内且稳定存在一定时间的链接，若有，则设定该网页为待定列表页；

每隔一段时间内调度一次所述待定列表页，如果所述链接不断更新为新链接，就将所述网页的页面框架模式设为列表页框架模式。