[发明专利]网页爬取的方法和装置有效
| 申请号： | 201611089766.7 | 申请日： | 2016-11-30 |
| 公开（公告）号： | CN108121751B | 公开（公告）日： | 2021-01-22 |
| 发明（设计）人： | 崔志伸 | 申请（专利权）人： | 北京国双科技有限公司 |
| 主分类号： | G06F16/951 | 分类号： | G06F16/951;G06F16/958 |
| 代理公司： | 北京康信知识产权代理有限责任公司 11240 | 代理人： | 韩建伟;张永明 |
| 地址： | 100083 北京市海淀区*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 网页 方法 装置 | ||
1.一种网页爬取的方法，其特征在于，包括：
在翻页爬取任务中针对每页的爬取结果进行临时存储，并依据每页对应的所述爬取结果生成对应的存储标识；
在所述翻页爬取任务爬取页面失败时，依据所述存储标识对应的爬取进程执行爬取操作；
在所述翻页爬取任务结束时，依据每页对应的所述存储标识提取对应的爬取结果；
存储所述翻页爬取任务的爬取结果；
其中，所述依据每页对应的所述爬取结果生成对应的存储标识包括：依据爬取任务的任务整体标识、当前爬取内容标识和当前爬取页面的页数生成所述存储标识。
2.根据权利要求1所述的方法，其特征在于，在所述依据爬取任务的任务整体标识、当前爬取内容标识和翻页页数生成所述存储标识之后，所述方法还包括：
依据所述存储标识执行后续翻页爬取。
3.根据权利要求2所述的方法，其特征在于，所述依据所述存储标识对应的爬取进程执行爬取操作包括：
依据所述存储标识提取对应的爬取进程；
依据所述爬取进程执行后续爬取操作。
4.根据权利要求1所述的方法，其特征在于，所述依据每页对应的所述存储标识提取对应的爬取结果包括：
依据每页对应的所述存储标识下载对应的爬取结果；
依据预设次序对所述爬取结果进行排序，得到待存储的全部页面的所述翻页爬取任务的爬取结果。
5.一种网页爬取的装置，其特征在于，包括：
标识生成模块，用于在翻页爬取任务中针对每页的爬取结果进行临时存储，并依据每页对应的所述爬取结果生成对应的存储标识；
进程执行模块，用于在所述翻页爬取任务爬取页面失败时，依据所述存储标识对应的爬取进程执行爬取操作；
提取模块，用于在所述翻页爬取任务结束时，依据每页对应的所述存储标识提取对应的爬取结果；
存储模块，用于存储所述翻页爬取任务的爬取结果；
其中，所述标识生成模块包括：标识生成单元，用于依据爬取任务的任务整体标识、当前爬取内容标识和当前爬取页面的页数生成所述存储标识。
6.根据权利要求5所述的装置，其特征在于，所述装置还包括：
爬取模块，用于在所述依据爬取任务的任务整体标识、当前爬取内容标识和翻页页数生成所述存储标识之后，依据所述存储标识执行后续翻页爬取。
7.根据权利要求6所述的装置，其特征在于，所述进程执行模块包括：
进程提取单元，用于依据所述存储标识提取对应的爬取进程；
进程执行单元，用于依据所述爬取进程执行后续爬取操作。
8.根据权利要求5所述的装置，其特征在于，所述提取模块包括：
下载单元，用于依据每页对应的所述存储标识下载对应的爬取结果；
排序单元，用于依据预设次序对所述爬取结果进行排序，得到待存储的全部页面的所述翻页爬取任务的爬取结果。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于北京国双科技有限公司，未经北京国双科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/201611089766.7/1.html，转载请声明来源钻瓜专利网。
