[发明专利]网页爬取方法和装置

权利要求书

1.一种网页爬取方法，其特征在于，包括以下步骤：

配置爬取任务和爬取策略；所述爬取任务包括目标网站，所述爬取策略包括URL限制策略；

根据所述目标网站生成爬取列表；

依次爬取所述爬取列表中目标网站的网页，获取所述网页中的网站链接；

根据所述URL限制策略过滤所述网站链接，以滤除所述网站链接中的无效链接，并将过滤后剩余的网站链接作为目标网站的链接加入所述爬取列表中以供后续爬取。

2.根据权利要求1所述的网页爬取方法，其特征在于，所述URL限制策略包括指定URL只执行一次爬取和/或指定URL每隔预设时长执行一次爬取。

3.根据权利要求1所述的网页爬取方法，其特征在于，所述爬取策略还包括频率限制策略，所述依次爬取所述爬取列表中目标网站的网页包括：

根据所述频率限制策略以不同的频率爬取所述目标网站的网页中不同的内容。

4.根据权利要求1所述的网页爬取方法，其特征在于，所述爬取策略还包括数量限制策略，所述依次爬取所述爬取列表中目标网站的网页包括：

根据所述数量限制策略爬取所述目标网站的网页中预设数量的指定内容。

5.根据权利要求1所述的网页爬取方法，其特征在于，所述爬取任务还包括任务每天启停时间、任务爬取深度和任务每天循环次数及循环间隔时间中的至少一种。

6.根据权利要求1-5任一项所述的网页爬取方法，其特征在于，所述依次爬取所述爬取列表中目标网站的网页包括：

抓取所述目标网站的网页信息；

根据预设的解析插件对所述网页信息进行去噪处理，提取出所述网页信息中的有效内容并予以存储。

7.根据权利要求6所述的网页爬取方法，其特征在于，所述解析插件为通用解析插件或经用户对通用解析插件进行二次开发后的自定义解析插件。

8.一种网页爬取装置，其特征在于，包括：

配置模块，用于配置爬取任务和爬取策略；所述爬取任务包括目标网站，所述爬取策略包括URL限制策略；

网页爬取模块，用于根据所述目标网站生成爬取列表；依次爬取所述爬取列表中目标网站的网页，获取所述网页中的网站链接；

链接过滤模块，用于根据所述URL限制策略过滤所述网站链接，以滤除所述网站链接中的无效链接，并将过滤后剩余的网站链接作为目标网站的链接加入所述爬取列表中以供所述网页爬取模块后续爬取。

9.根据权利要求8所述的网页爬取装置，其特征在于，所述URL限制策略包括指定URL只执行一次爬取和/或指定URL每隔预设时长执行一次爬取。

10.根据权利要求8所述的网页爬取装置，其特征在于，所述爬取策略还包括频率限制策略，所述网页爬取模块用于：根据所述频率限制策略以不同的频率爬取所述目标网站的网页中不同的内容。

11.根据权利要求8所述的网页爬取装置，其特征在于，所述爬取策略还包括数量限制策略，所述网页爬取模块用于：根据所述数量限制策略爬取所述目标网站的网页中预设数量的指定内容。

12.根据权利要求8所述的网页爬取装置，其特征在于，所述爬取任务还包括任务每天启停时间、任务爬取深度和任务每天循环次数及循环间隔时间中的至少一种。

13.根据权利要求8-12任一项所述的网页爬取装置，其特征在于，所述网页爬取模块包括：

抓取单元，用于抓取所述目标网站的网页信息；

解析单元，根据预设的解析插件对所述网页信息进行去噪处理，提取出所述网页信息中的有效内容并予以存储。

14.根据权利要求13所述的网页爬取装置，其特征在于，所述装置还包括插件开发模块，所述插件开发模块用于：接收用户对通用解析插件进行二次开发的指令，生成自定义解析插件。