[发明专利]基于视觉的列表页识别方法

权利要求书

1.一种基于视觉的列表页识别方法，包括以下步骤：

A、基于浏览器的下载，获取网页的Dom树；

B、进行Html分块，即按照视觉进行分块；

C、Html主体区域的识别，以找到主要的区域；

D、列表页模式识别，通过模式识别判断是否是列表页；

E、分析链接，获取候选链接，找到必要的链接；

F、获取到新链接时，返回执行步骤A。

2.根据权利要求1所述的基于视觉的列表页识别方法，其特征在于：步骤A中，基于浏览器核心首先下载整体网页和网页附带的代码文件，然后进行渲染，渲染后使每个Dom树的节点获得相应的浏览器的属性，最后输出整体的Dom树。

3.根据权利要求2所述的基于视觉的列表页识别方法，其特征在于：下载过程中增加黑名单，禁止下载多媒体文件；禁止下载广告网站、网站外的资源和非重要的代码文件；区分重要资源和非重要资源；增加Http的Cache功能模块。

4.根据权利要求1或3所述的基于视觉的列表页识别方法，其特征在于：步骤B中，使用Web页面的视觉提示，结合DOM树进行页面语义分块。

5.根据权利要求4所述的基于视觉的列表页识别方法，其特征在于：依视觉进行页面分块时考量的维度包括字符、字符的统计属性和Html页面元素的属性；其中字符维度中又包括字体、字号、字重、文字颜色、背景色和对齐方式的考量；字符的统计属性维度中又包括文字的字符数、链接文字的字符数、文字密度和链接密度；Html页面元素的属性维度中又包括边框、Html元素的属性、背景图片、矩形区域的坐标和宽高和Z轴方向上的层次。

6.根据权利要求5所述的基于视觉的列表页识别方法，其特征在于：步骤C中，Html主体区域识别中所依据的判断维度为：由上至下，离页眉距离近；占页面主体宽度至少60%；占页面的的主体面积；位于网页的明显位置。

7.根据权利要求6所述的基于视觉的列表页识别方法，其特征在于：步骤D中，列表页的判断维度包括：文本的数量、链接的数量、链接的位置信息、链接文字的数量、链接所在的标签名称、链接和链接的相对位置信息，左对齐和间隔均匀、链接块相对主体区域的位置信息、图片链接块的位置信息、链接的宽度信息、链接所在的风格名称的一致性。