[发明专利]一种目标页面内容抓取方法和装置

说明书

技术领域

本发明涉及网页技术领域，具体涉及一种目标页面内容抓取方法和装置。

背景技术

随着互联网的发展，越来越多的用户通过互联网获取各种信息。而在互联网中，网站很多，并且网站内部的网页更为庞大，用户如果想要了解某方面的内容，可能需要访问多个网站的多个网页，才能浏览到其需要的内容。

针对上述情况，为了方便用户对目标页面内容的访问，产生了通过一些采集其将各个网站的某方面的目标页面内容进行抓取，然后用户即可直接浏览采集到的内容。用户不用逐个访问页面浏览目标页面内容。

但是，在先技术中，通常使用的采集工具如八爪鱼采集器、狂人采集器、CMS系统(Content Management System，内容管理系统)采集模块等，其采用的目标页面内容抓取时，需要预先设定对html文档代码的匹配方式，该匹配方式均是通过流量html文档代码确定，匹配方式大致包括两种：

其一是配置字符串匹配方式，该种方式是直接对网页文档的目标元素的开始和结束字符进行匹配，但是实际中，网页页面随文章变动大，内容区域复杂，单纯依赖简单的字符串匹配很难准确区分目标元素信息特点，很难对抓取后的结果进行解析。

其二是配置绝对路径的匹配方式，该种方式是从网页文档的body开始进行匹配，该种方式可以较为准确的抓取到目标页面内容，但是由于网页页面对JS脚本存在延迟加载的因素，并且抓取脚本没有浏览器内核的解析功能，只能获取初始的html代码，无法执行html代码中的JS脚本，因而抓取脚本和实际浏览器获取的目标页面内容具有差异，导致绝对路径不统一而抓取过程无法正常执行。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的目标页面内容抓取装置和相应的目标页面内容抓取方法。

依据本发明的一个方面，提供了一种目标页面内容抓取方法，包括：

获取目标页面的网页文档；

根据针对所述目标页面的相对路径信息，在所述网页文档中查找所述相对路径信息下的文档对象模型节点；其中，所述相对路径信息基于文档对象模型节点的属性相关信息构建；

从查找到的文档对象模型节点中，提取目标页面内容。

优选的，所述基于文档对象模型节点的属性相关信息构建的相对路径信息包括：

由至少一个文档对象模型节点的标签与属性构建的相对路径信息；

和/或者，由至少一个文档对象模型节点的标签与属性和至少一个文档对象模型节点的标签，以XPATH形式构建的相对路径信息。

优选的，所述获取目标页面的网页文档包括：

根据列表页面的链接地址，获取列表页面的网页文档。

优选的，所述根据针对所述目标页面的相对路径信息，在所述网页文档中查找所述相对路径信息下的文档对象模型节点，包括：

根据针对列表页面中列表区域的相对路径信息，在所述网页文档中查找所述相对路径信息下的文档对象模型节点。

优选的，所述从查找到的文档对象模型节点中，提取目标页面内容包括：

从列表页面的列表区域对应的文档对象模型节点标签中，提取各个资源页面的链接地址。

优选的，所述获取目标页面的网页文档包括：

根据资源页面的链接地址，获取资源页面的网页文档。

优选的，所述根据针对所述目标页面的相对路径信息，在所述网页文档中查找所述相对路径信息下的文档对象模型节点，包括：

根据针对资源页面的各资源内容的相对路径信息，在所述网页文档中查找各相对路径信息下的文档对象模型节点标签。

优选的，所述从查找到的文档对象模型节点中，提取目标页面内容，包括：

根据预置针对目标页面内容的正则匹配表达式和/或前后匹配表达式，从所述文档对象模型节点中，提取目标页面内容。

依据本发明的另外一个方面，提供了一种目标页面内容抓取装置，包括：

网页文档获取模块，适于获取目标页面的网页文档；

节点查询模块，适于根据针对所述目标页面的相对路径信息，在所述网页文档中查找所述相对路径信息下的文档对象模型节点；其中，所述相对路径信息基于文档对象模型节点的属性相关信息构建；

内容提取模块，适于从查找到的文档对象模型节点中，提取目标页面内容。

优选的，所述基于文档对象模型节点的属性相关信息构建的相对路径信息包括：

由至少一个文档对象模型节点的标签与属性构建的相对路径信息构建的相对路径信息；