[发明专利]网页爬取方法及装置

说明书

本发明公开了一种网页爬取方法及装置，涉及数据处理技术领域，提高了对特定链接网页的爬取效率。本发明的主要技术方案为：爬虫程序接收爬虫任务，所述爬虫任务中包括需要爬取页面的URL；从预置规则表中获取与所述URL匹配成功的URL匹配规则对应的区域限制规则，所述预置规则表中存储有多个URL匹配规则，每个URL匹配规则至少对应一个区域限制规则，所述区域限制规则用于限制所述爬虫程序在所述URL对应的页面中将要爬取的链接；从所述URL对应的页面中提取与所述区域限制规则匹配的链接；爬取所述提取的链接对应的网页。本发明主要用于爬取网页数据。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种网页爬取方法及装置。

背景技术

爬虫是人们为了形象描述计算机程序在网络不断通过定制的入口网址去提取网页的链接，并根据这些链接再度抓取更深的其它未知的链接，以此下去，将这样的程序抓取形为形容成类似爬虫似的动作，称之为爬虫，爬虫是一种自动获取网页内容的程序。

目前，如果爬虫需要对网页中的某些特定链接进行爬取，比如爬取新浪主页上的有关于新闻内容的链接，现有爬虫的做法会将新浪主页中所有的链接全部抽取出来，然后对属于新闻内容的链接做出特殊标记，在做出特殊标签之后，爬取新浪主页中全部链接对应的网页内容，最后检索出带有特殊标记链接对应的网页内容，以此实现对网页中的某些特定链接进行爬取，因此现有爬取网页中特定链接对应内容的效率较低。

发明内容

鉴于上述问题，提出了本发明，以便提供一种克服上述问题或者至少部分地解决上述问题的网页爬取方法及装置。

为达到上述目的，本发明主要提供如下技术方案：

一方面，本发明实施例提供了一种网页爬取方法，该方法包括：

爬虫程序接收爬虫任务，所述爬虫任务中包括需要爬取页面的URL；

从预置规则表中获取与所述URL匹配成功的URL匹配规则对应的区域限制规则，所述预置规则表中存储有多个URL匹配规则，每个URL匹配规则至少对应一个区域限制规则，所述区域限制规则用于限制所述爬虫程序在所述URL对应的页面中将要爬取的链接；

从所述URL对应的页面中提取与所述区域限制规则匹配的链接；

爬取所述提取的链接对应的网页。

另一方面，本发明实施例还提供一种网页爬取装置，该装置包括：

接收单元，用于接收爬虫任务，所述爬虫任务中包括需要爬取页面的URL；

获取单元，用于从预置规则表中获取与所述URL匹配成功的URL匹配规则对应的区域限制规则，所述预置规则表中存储有多个URL匹配规则，每个URL匹配规则至少对应一个区域限制规则，所述区域限制规则用于限制所述爬虫程序在所述URL对应的页面中将要爬取的链接；

提取单元，用于从所述URL对应的页面中提取与所述区域限制规则匹配的链接；

爬取单元，用于爬取所述提取的链接对应的网页。

借由上述技术方案，本发明实施例提供的技术方案至少具有下列优点：