[发明专利]爬虫处理方法、装置、服务器及计算机可读存储介质

权利要求书

1.一种爬虫处理方法，其特征在于，包括：

接收终端发送的对指定抓取任务的任务启动指令，所述任务启动指令包括所述指定抓取任务的第一配置记录、第二配置记录、第三配置记录，所述第一配置记录包括种子信息，所述第二配置记录包括针对至少一类待抓取页面中每类待抓取页面设置的爬虫配置信息，所述第三配置记录包括所述每类待抓取页面对应的解析规则；

根据所述种子信息和所述每类待抓取页面的爬虫配置信息执行爬虫操作，得到所述每类待抓取页面对应的爬虫数据集合，每类待抓取页面对应的所述爬虫数据集合包括属于该类待抓取页面的页面；

根据所述每类待抓取页面对应的解析规则，从所述每类待抓取页面对应的爬虫数据集合包括的各页面中解析出目标数据。

2.根据权利要求1所述的方法，其特征在于，所述根据所述种子信息和所述每类待抓取页面的爬虫配置信息执行爬虫操作，得到所述每类待抓取页面对应的爬虫数据集合，包括：

将所述种子信息包括的至少一个种子链接地址写入待抓取链接地址队列；

从待抓取链接队列中取出写入时间最早的第一种子链接地址，访问并下载所述第一种子链接地址对应的页面，并将第一种子链接地址写入已抓取链接地址队列；

基于每类待抓取页面对应的爬虫配置信息包括的匹配规则，从所述第一种子链接地址对应的页面中，匹配出属于该类待抓取页面的页面，并提取属于该类待抓取页面的页面中的链接地址，将提取的链接地址写入所述待抓取链接地址队列；

从所述待抓取链接地址队列中取出写入时间最早的目标链接地址，访问并下载所述目标链接地址对应的页面，并将所述目标链接地址写入已抓取链接地址队列；

基于每类待抓取页面对应的爬虫配置信息包括的匹配规则，从所述目标链接地址对应的页面中，匹配出属于该类待抓取页面的页面，并提取属于该类待抓取页面的页面中的链接地址，将提取的链接地址写入所述待抓取链接地址队列，重复执行所述从所述待抓取链接地址队列中取出写入时间最早的目标地址的步骤，直到满足预设条件时停止爬虫操作。

3.根据权利要求2所述的方法，其特征在于，所述提取属于该类待抓取页面的页面中的链接地址，将提取的链接地址写入所述待抓取链接地址队列，包括：

提取属于该类待抓取页面的页面中的新增链接地址，并将提取的新增链接地址写入所述待抓取链接地址队列；所述新增链接地址是指未放入所述已抓取链接地址队列的地址。

4.根据权利要求2所述的方法，其特征在于，所述预设条件包括以下至少一项：待抓取链接地址队列为空、抓取操作的运行时长为预设运行时长、已抓取链接地址队列中的链接地址的数量达到预设抓取数量、针对每类待抓取页面提取的新增链接地址的总量达到各自对应的最大发现量。

5.根据权利要求1所述的方法，其特征在于，在根据所述每类待抓取页面对应的解析规则，从所述每类待抓取页面对应的爬虫数据集合包括的各页面中解析出目标数据之前，所述方法还包括：

当所述至少一类待抓取页面中目标类待抓取页面对应的爬虫配置信息包括预设的错误标签时，判断所述目标类待抓取页面对应的爬虫数据集合中是否存在包括所述错误标签的页面，如果存在，则删除所述包括所述错误标签的页面；所述目标类待抓取页面为所述至少一类待抓取页面中的任一待抓取页面；或者，

当所述目标类待抓取页面对应的爬虫配置信息包括预设的正确标签时，判断所述目标类待抓取页面对应的爬虫数据集合中是否存在不包括所述正确标签的页面，如果存在，则删除所述不包括所述正确标签的页面；

所述根据所述每类待抓取页面对应的解析规则，从所述每类待抓取页面对应的爬虫数据集合包括的各页面中解析出目标数据，包括：

根据所述每类待抓取页面对应的解析规则，从所述每类待抓取页面对应的执行删除操作后的爬虫数据集合包括的各页面中解析出目标数据。