[发明专利]基于视觉的列表页识别方法

说明书

技术领域

本发明涉及互联网信息采集的技术领域，具体说是一种基于视觉的列表页识别方法。

背景技术

在舆情监控系统中，在有限资源的情况下，如何及时准确的获取网站内容的变化，基本上是两种思路，第一种思路是搜索引擎的思路，下载整个网站，分析处理网站中的任何一个网页，这种办法虽然数据全面，但是更新效率低，不适合监控类对时效性的要求。第二种思路是针对列表页，只更新列表页，对列表页中发现的新的正文链接进行分析处理。

网站中的网页是如此众多，哪些是正文页，哪些是列表页，需要认为的进行分析，先确定列表页，然后将其加入系统中，进行监测，系统会定时更新，并且发现其中的正文链接，然后进行相应的分析处理。

这种传统的人工收集列表页的方法，很难把网站的全部列表页收集全，经常会遗漏一些客户敏感的列表页，而且比较耗费时间，尤其是需要添加多个网站的列表页的时候，工作量巨大。

发明内容

本发明要解决的技术问题是提供一种基于视觉的列表页识别方法。

本发明为解决公知技术中存在的技术问题所采取的技术方案是:

本发明的基于视觉的列表页识别方法，包括以下步骤：

A、基于浏览器的下载，获取网页的Dom树；

B、进行Html分块，即按照视觉进行分块；

C、Html主体区域的识别，以找到主要的区域；

D、列表页模式识别，通过模式识别判断是否是列表页；

E、分析链接，获取候选链接，找到必要的链接；

F、获取到新链接时，返回执行步骤A。

本发明还可以采用以下技术措施：

步骤A中，基于浏览器核心首先下载整体网页和网页附带的代码文件，然后进行渲染，渲染后使每个Dom树的节点获得相应的浏览器的属性，最后输出整体的Dom树。

下载过程中增加黑名单，禁止下载多媒体文件；禁止下载广告网站、网站外的资源和非重要的代码文件；区分重要资源和非重要资源；增加Http的Cache功能模块。

步骤B中，使用Web页面的视觉提示，结合DOM树进行页面语义分块。

依视觉进行页面分块时考量的维度包括字符、字符的统计属性和Html页面元素的属性；其中字符维度中又包括字体、字号、字重、文字颜色、背景色和对齐方式的考量；字符的统计属性维度中又包括文字的字符数、链接文字的字符数、文字密度和链接密度；Html页面元素的属性维度中又包括边框、Html元素的属性、背景图片、矩形区域的坐标和宽高和Z轴方向上的层次。

步骤C中，Html主体区域识别中所依据的判断维度为：由上至下，离页眉距离近；占页面主体宽度至少60%；占页面的的主体面积；位于网页的明显位置。

步骤D中，列表页的判断维度包括：文本的数量、链接的数量、链接的位置信息、链接文字的数量、链接所在的标签名称、链接和链接的相对位置信息，左对齐和间隔均匀、链接块相对主体区域的位置信息、图片链接块的位置信息、链接的宽度信息、链接所在的风格名称的一致性。

本发明具有的优点和积极效果是:

本发明的基于视觉的列表页识别方法中，依据视觉规则对页面的Html进行分块、完成Html主体区域的识别，进而判断是否是列表页以获取必要的连接。本发明通过模仿人在观察Web页面时候的处理方式，提高了列表页收集的速度和准确度，从而便于及时准确地对网站上变化的内容进行收集。

附图说明

图1是本发明的基于视觉的列表页识别方法的流程图。

具体实施方式

以下通过具体实施例对本发明进行详细说明。

本发明的基于视觉的列表页识别方法，包括以下步骤：

A、基于浏览器的下载，获取网页的Dom树；

B、进行Html分块，即按照视觉进行分块；

C、Html主体区域的识别，以找到主要的区域；

D、列表页模式识别，通过模式识别判断是否是列表页；

E、分析链接，获取候选链接，找到必要的链接；

F、获取到新链接时，返回执行步骤A。

判断标准的依据就是：先找到网页的主体部分，左右边栏和页眉页脚都忽略，然后根据字体，字号，字重，位置等信息，来判断主体部分，如果是以链接为主体则可判断为列表页。