[发明专利]网页类别知识库的建立系统及方法

权利要求书

1.一种网页类别知识库的建立系统，包括：

样本页面框架ID计算模块，适于抽取样本网页的页面框架，计算样本网页的页面框架ID；

模式累计模块，适于累计相同ID的页面框架数量达到阈值时，计算样本网页的页面框架模式；

知识库建立模块，适于建立样本网页的类别和所述页面框架模式的映射关系以生成网页类别知识库。

2.如权利要求1所述的网页类别知识库的建立方法，其特征在于，所述知识库建立模块进一步包括：

权重设定模块，适于按照不同样本网页的类别，为该类别的页面框架模式中的各个网页特征赋予预先设定权重；

映射表建立模块，适于建立样本网页的类别与该类别的各个网页特征及权重的关系映射表，以生成网页类别知识库。

3.如权利要求1或2所述的网页类别知识库的建立系统，其特征在于，页面框架ID计算模块进一步包括：页面框架抽取模块，适于根据样本网页源代码中的html语言标签抽取所述样本网页的页面框架。

4.如权利要求1~3中任一项所述的网页类别知识库的建立系统，其特征在于，页面框架ID计算模块进一步包括：页面框架抽取模块，适于按标点识别出样本网页的正文，去除正文以得到所述样本网页的页面框架。

5.如权利要求1~4中任一项所述的网页类别知识库的建立系统，其特征在于，所述模式累计模块进一步包括：

待定列表页识别模块，适于判断是否有位于页面内固定位置块内且稳定存在一定时间的链接，若有，则设定所述样本网页为待定列表页；

列表页框架模式确定模块，适于每隔一段时间内调度一次所述待定列表页，如果所述链接不断更新为新链接，就将所述样本网页的页面框架模式设为列表页框架模式。

6.一种网页类别知识库的建立方法，包括以下步骤：

抽取样本网页的页面框架，计算样本网页的页面框架ID；

累计相同ID的页面框架数量达到阈值时，计算样本网页的页面框架模式；

建立样本网页的类别和所述页面框架模式的映射关系，以生成网页类别知识库。

7.如权利要求6所述的网页类别知识库的建立方法，其特征在于，所述建立样本网页的类别和所述页面框架模式的映射关系以生成网页类别知识库具体包括：

按照不同样本网页的类别，为该类别的页面框架模式中的各个网页特征赋予预先设定权重；

建立样本网页的类别与该类别的各个网页特征及权重的关系映射表，以生成网页类别知识库。

8.如权利要求6或7所述的网页类别知识库的建立方法，其特征在于，抽取所述样本网页的页面框架的方式为：根据样本网页源代码中的html语言标签抽取所述样本网页的页面框架。

9.如权利要求6~8中任一项所述的网页类别知识库的建立方法，其特征在于，抽取所述样本网页的页面框架的方式为：按标点识别出样本网页的正文，去除正文以得到所述样本网页的页面框架。

10.如权利要求6~9中任一项所述的网页类别知识库的建立方法，其特征在于，列表页框架模式计算的方式为：

判断是否有位于页面内固定位置块内且稳定存在一定时间的链接，若有，则设定所述样本网页为待定列表页；

每隔一段时间内调度一次所述待定列表页，如果所述链接不断更新为新链接，就将所述样本网页的页面框架模式设为列表页框架模式。