[发明专利]爬虫处理方法、装置、服务器及计算机可读存储介质

说明书

本申请实施例提供了一种爬虫处理方法、装置、服务器及计算机可读存储介质，该方法包括：接收终端发送的对指定抓取任务的任务启动指令，该任务启动指令包括该指定抓取任务的第一配置记录、第二配置记录、第三配置记录；根据第一配置记录包括的种子信息和该第二配置记录包括的针对该指示至少一类待抓取页面中每类待抓取页面的爬虫配置信息执行爬虫操作，得到该每类待抓取页面对应的爬虫数据集合；根据第三配置记录包括的每类待抓取页面对应的解析规则，从该每类待抓取页面对应的爬虫数据集合包括的各页面中解析出目标数据。采用本申请，可以使得爬虫过程更具针对性，并可以提高可扩展性，提升爬虫效率。

技术领域

本申请涉及计算机技术领域，尤其涉及一种爬虫处理方法、装置、服务器及计算机可读存储介质。

背景技术

随着网络技术的发展，网络当中包含有越来越多的数据，如果想要获取数据，通常可以采用爬虫技术从网页或数据库当中获取数据。

爬虫作为一种获取网络数据的重要手段，其获取网络数据的难易程度和数据源网站密切相关。传统的抓取系统需要针对不同的数据源编写特定代码以进行爬虫。在爬虫过程中，一般会基于提供的一个链接地址面向的海量的数据执行抓取任务。然而，由于该方式缺乏针对性、可扩展性较低，降低了爬虫效率。

发明内容

本申请实施例提供了一种爬虫处理方法、装置、服务器及计算机可读存储介质，可以使得爬虫过程更具针对性，并可以提高可扩展性，提升爬虫效率。

第一方面，本申请实施例提供了一种爬虫处理方法，包括：

接收终端发送的对指定抓取任务的任务启动指令，所述任务启动指令包括所述指定抓取任务的第一配置记录、第二配置记录、第三配置记录，所述第一配置记录包括种子信息，所述第二配置记录包括针对至少一类待抓取页面中每类待抓取页面设置的爬虫配置信息，所述第三配置记录包括所述每类待抓取页面对应的解析规则；

根据所述种子信息和所述每类待抓取页面的爬虫配置信息执行爬虫操作，得到所述每类待抓取页面对应的爬虫数据集合，每类待抓取页面对应的所述爬虫数据集合包括属于该类待抓取页面的页面；

根据所述每类待抓取页面对应的解析规则，从所述每类待抓取页面对应的爬虫数据集合包括的各页面中解析出目标数据。

可选地，所述根据所述种子信息和所述每类待抓取页面的爬虫配置信息执行爬虫操作，得到所述每类待抓取页面对应的爬虫数据集合，包括：

将所述种子信息包括的至少一个种子链接地址写入待抓取链接地址队列；

从待抓取链接队列中取出写入时间最早的第一种子链接地址，访问并下载所述第一种子链接地址对应的页面，并将第一种子链接地址写入已抓取链接地址队列；

基于每类待抓取页面对应的爬虫配置信息包括的匹配规则，从所述第一种子链接地址对应的页面中，匹配出属于该类待抓取页面的页面，并提取属于该类待抓取页面的页面中的链接地址，将提取的链接地址写入所述待抓取链接地址队列；

从所述待抓取链接地址队列中取出写入时间最早的目标链接地址，访问并下载所述目标链接地址对应的页面，并将所述目标链接地址写入已抓取链接地址队列；

基于每类待抓取页面对应的爬虫配置信息包括的匹配规则，从所述目标链接地址对应的页面中，匹配出属于该类待抓取页面的页面，并提取属于该类待抓取页面的页面中的链接地址，将提取的链接地址写入所述待抓取链接地址队列，重复执行所述从所述待抓取链接地址队列中取出写入时间最早的目标地址的步骤，直到满足预设条件时停止爬虫操作。

可选地，所述提取属于该类待抓取页面的页面中的链接地址，将提取的链接地址写入所述待抓取链接地址队列，包括：