[发明专利]通过对网络资源调度提高网络爬虫抓取效率的方法和装置有效
| 申请号： | 201610240607.6 | 申请日： | 2016-04-19 |
| 公开（公告）号： | CN105681478B | 公开（公告）日： | 2019-01-22 |
| 发明（设计）人： | 陈俊良;曾琰;屈银川;黄志杰 | 申请（专利权）人： | 北京高地信息技术有限公司 |
| 主分类号： | H04L29/08 | 分类号： | H04L29/08 |
| 代理公司： | 暂无信息 | 代理人： | 暂无信息 |
| 地址： | 100055 北京市西城*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 公开了通过对网络资源调度提高网络爬虫抓取效率的方法和装置。其通过从RMI远程爬虫客户端接收请求参数，并进行封装识别；把从RMI远程爬虫客户端接收到的请求参数发送到RMI服务器内部逻辑；对各个网络线路进行优选，得到畅通的网络线路；通过畅通的网络线路，根据需求，进行HTTP网络资源封装处理，得到封装好的网络资源；通过RMI远程接口把封装好的网络资源发送给RMI远程爬虫客户端的请求端；RMI远程爬虫客户端通过其请求端接收封装好的网络资源后，对网络线路和HTTP请求进行设置，并进行数据的爬取和解析。其能够使爬虫数据的抓取效率提高，不需要人工干预。实现网络线路的负载均衡，并自动识别目标网站的封锁、线路优选和HTTP请求参数的设置来自动解除封锁。 | ||
| 搜索关键词： | 通过 网络资源 调度 提高 网络 爬虫 抓取 效率 方法 装置 | ||
【主权项】：
1.一种通过对网络资源调度来提高网络爬虫抓取效率的方法，其特征在于，包括以下步骤：从RMI远程爬虫客户端接收请求参数，并进行封装识别；把从RMI远程爬虫客户端接收到的请求参数发送到RMI服务器内部逻辑；对各个网络线路进行优选，得到畅通的网络线路；通过所述畅通的网络线路，根据需求，进行HTTP网络资源封装处理，得到封装好的网络资源；通过RMI远程接口把所述封装好的网络资源发送给所述RMI远程爬虫客户端的请求端；所述RMI远程爬虫客户端通过其请求端接收所述封装好的网络资源后，对网络线路和HTTP请求进行设置，并进行数据的爬取和解析。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于北京高地信息技术有限公司，未经北京高地信息技术有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201610240607.6/，转载请声明来源钻瓜专利网。
