[发明专利]web页面内的公共块元素的结构化识别方法和装置

权利要求书

1.一种web页面内的公共块元素的结构化识别方法，其特征在于，包括以下步骤： 

检测所述web页面内的元素； 

将所述元素与预先定义的公共块元素进行匹配识别； 

对匹配成功的元素进行结构化抽取。 

2.根据权利要求1所述的方法，其特征在于，所述预先定义的公共块元素包括栏目块、导航块或翻页块。 

3.根据权利要求2所述的方法，其特征在于，将所述元素与预先定义的所述栏目块进行匹配识别的步骤包括： 

根据所述栏目块的标题特征识别出标题节点； 

识别所述栏目块中的重复父节点； 

判断所述重复父节点是否存在一个相邻节点是标题节点； 

如果是，则将所述重复父节点和所述相邻节点识别为包含标题节点的内容块组。 

4.根据权利要求3所述的方法，其特征在于，进一步包括步骤： 

如果否，则将所述重复父节点识别为缺乏标题节点的内容块。 

5.根据权利要求2所述的方法，其特征在于，将所述元素与预先定义的所述翻页块进行匹配识别的步骤包括： 

根据所述翻页块的锚文本和链接特征的关键特征字识别出多个翻页节点； 

判断所述多个翻页节点是否存在最小公共父节点；以及 

如果存在，则将所述多个翻页节点识别为所述翻页块的翻页块节点。 

6.根据权利要求5所述的方法，其特征在于，还包括： 

判断所述翻页块的所述多个翻页块节点的序列是否完整； 

如果否，则抽取所述多个翻页块节点的页码文本信息和翻页链接； 

获取所述多个翻页块节点的共同链接特征； 

判断所述多个翻页块节点中除所述共同链接特征之外的特征是否为数字且所述多个数字组成等差数列；以及 

如果是，则根据所述多个数字获取缺失页码对应的所述翻页链接。 

7.根据权利要求2所述的方法，其特征在于，将所述元素与预先定义的所述导航进行匹配识别的步骤包括： 

判断背景色最深的导航块和背景色次深的导航块的差值是否大于预定阈值； 

如果背景色最深的导航块和背景色次深的导航块的差值大于预定阈值，则将所述背景色最深的导航块识别为主导航块。 

8.根据权利要求7所述的方法，其特征在于，进一步包括步骤： 

如果背景色最深的导航块和背景色次深的导航块的差值不大于预定阈值，判断是否存在平均字体最大的导航块； 

如果存在平均字体最大的导航块，则将所述平均字体最大的导航块识别为主导航块。 

9.根据权利要求8所述的方法，其特征在于，进一步包括步骤： 

如果不存在平均字体最大的导航块，则判断是否存在加粗比例最大的导航块； 

如果存在加粗比例最大的导航块，则将所述加粗比例最大的导航块识别为主导航块。 

10.根据权利要求9所述的方法，其特征在于，进一步包括步骤： 

如果不存在加粗比例最大的导航块，则将最靠近页面主体的导航块识别为主导航块。 

11.一种web页面内的公共块元素的结构化识别装置，其特征在于，包括： 

检测模块，所述检测模块用于检测所述web页面内的元素； 

匹配识别模块，所述匹配模块用于将所述元素与预先定义的公共块元素进行匹配识别； 

抽取模块，所述识别模块用于对匹配成功的元素进行结构化抽取。 

12.根据权利要求11所述的装置，其特征在于，所述预先定义的公共块元素包括栏目块、导航块或翻页块。 

13.根据权利要求12所述的装置，其特征在于，所述匹配识别模块用于： 

根据所述栏目块的标题特征识别出标题节点； 

识别所述栏目块中的重复父节点； 

判断所述重复父节点是否存在一个相邻节点是标题节点； 

如果是，则将所述重复父节点和所述相邻节点识别为包含标题节点的内容块组。 

14.根据权利要求13所述的装置，其特征在于，所述匹配识别模块进一步用于： 

如果否，则将所述重复父节点识别为缺乏标题节点的内容块。