[发明专利]一种基于图像分析的智能化网页内容解析方法

说明书

本发明为网页内容解析提供了一种基于图像分析的通用智能化解析方法，可以对新闻、论坛类网页进行有效的智能解析，步骤如下：第一步，下载同一个栏目下的若干个(默认10个)网页HTML源码；第二步，将所下载的网页HTML源码，利用网页渲染技术，渲染为网页图片；第三步，采用图像分析技术，识别出每张图片上的各类内容及内容的相对位置，对内容进行聚类，识别出标题、作者、发布时间、正文、评论等主体内容；第四步，根据主体内容定位HTML中的位置，生成xpath解析规则，纳入规则库；最终，根据xpath解析规则解析该栏目下的所有网页，如果存在解析错误时，重复步骤1至4，生成新的xpath解析规则，纳入规则库。

技术领域

本发明涉及网页内容解析领域。

背景技术

在网络迅速发展的过程中，互联网成为大量信息的载体，为了获取有价值的信息，需要对网页内容进行解析，通常的做法是人工设置规则精确获取数据，这耗费了大量的人力资源，随着信息爆炸式增长，仅靠人工解析已无法满足需求。

有部分研究通过HTML源码的文本分布情况自动抽取信息，但这样的模式具有很大的局限性，尤其是对编码不规范的网页，几乎无法有效抽取有用的信息。

因此，如何快速、智能、准确的解析网页内容，成为迫切需要本技术领域技术人员解决的技术问题。

发明内容

1、目的：本发明的目的是提供一种针对文章类网页具备一定智能化水平内容解析方法，通过网页视觉呈现的位置特性和内容语义特性，自动生成解析规则，自行维护规则库，解析网页内容。从而为一般用户提供一种有效、智能的网页解析工具。

2、发明内容：

为了达到上述目的，本发明设计了一种主体内容解析算法。

第一步，下载同一个栏目下的若干个(默认10个)网页HTML源码；

第二步，将所下载的网页HTML源码，利用网页渲染技术，渲染为网页图片；

第三步，采用图像分析技术，识别出每张图片上的各类内容及内容的相对位置，对内容进行聚类，识别出标题、作者、发布时间、正文、评论等主体内容；

第四步，根据主体内容定位HTML中的位置，生成xpath解析规则，纳入规则库；

最终，根据xpath解析规则解析该栏目下的所有网页，如果存在解析错误时，重复步骤1至4，生成新的xpath解析规则，纳入规则库。

附图说明

图1为本发明的工作流程示意图。

具体实施方式

下面结合附图1对本发明所述的发明内容进一步详细阐述。

图1为基于图像分析的智能化网页内容解析所涉及的各个步骤的流程图，具体步骤如下：

第一步，下载同一个栏目下的若干个(默认10个)网页HTML源码，可以根据网页的复杂性，自行涉及下载数量，数量增加可提升后续网页内容聚类的准确率和速度；

第二步，将所下载的网页HTML源码，利用网页渲染技术，渲染为网页图片，具体如下：

1)加载浏览器引擎。

2)浏览器引擎加载网页HTML源码。

3)浏览器引擎将HTML源码渲染为可视化网页。

4)将网页保存为JPEG图片。

第三步，采用图像分析技术，识别出每张图片上的各类内容及内容的相对位置，对内容进行聚类，识别出标题、作者、发布时间、正文、评论等主体内容，具体如下：

1)读取网页图片。