[发明专利]一种实现网站图片爬虫的方法、装置、设备及存储介质有效
申请号: | 202010362794.1 | 申请日: | 2020-04-30 |
公开(公告)号: | CN111597421B | 公开(公告)日: | 2022-08-30 |
发明(设计)人: | 郭泽生 | 申请(专利权)人: | 武汉思普崚技术有限公司 |
主分类号: | G06F16/951 | 分类号: | G06F16/951;G06F3/04845 |
代理公司: | 武汉智嘉联合知识产权代理事务所(普通合伙) 42231 | 代理人: | 黄君军 |
地址: | 430070 湖北省武汉市东湖开发区*** | 国省代码: | 湖北;42 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明公开了一种实现网站图片爬虫的方法、装置、设备及存储介质,所述方法包括:S1、访问图片服务器,并获取当前访问的图片服务器网站的当前页面的所有图片信息;S2、筛选出当前页面需要下载的图片,将需要下载的图片加入下载队列中,并将所述下载队列中的图片逐一下载;S3、当所述下载队列中的图片都下载完成后,对当前页面进行翻页下拉处理,并在下拉处理成功时,获取下拉后的页面的所有图片信息,并重复步骤S2;S4、当下拉处理不成功时,调用Autoit控件,以实现所有下载的图片的自动保存。本发明完全代替和模拟操作人员的动作,可以将网站上的所有图片都下载下来,并且不需要再担心网络爬虫带来的封禁风险。 | ||
搜索关键词: | 一种 实现 网站 图片 爬虫 方法 装置 设备 存储 介质 | ||
【主权项】:
暂无信息
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于武汉思普崚技术有限公司,未经武汉思普崚技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/202010362794.1/,转载请声明来源钻瓜专利网。