[发明专利]网络爬虫系统的负载均衡调节方法有效
| 申请号： | 201710381508.4 | 申请日： | 2017-05-26 |
| 公开（公告）号： | CN107203623B | 公开（公告）日： | 2020-09-22 |
| 发明（设计）人： | 赵燕清;魏墨济;朱世伟;李宪毅;李晨;杨爱芹;于俊凤;李思思;徐蓓蓓;刘翠琴;张铭君;董婷 | 申请（专利权）人： | 山东省科学院情报研究所 |
| 主分类号： | G06F16/951 | 分类号： | G06F16/951;G06F16/955;G06F9/48 |
| 代理公司： | 暂无信息 | 代理人： | 暂无信息 |
| 地址： | 250014 山*** | 国省代码： | 山东;37 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明的网络爬虫系统的负载均衡调节方法，首先计算出新闻类网站和社交媒体类网站关键词的权重，然后通过比较访问时间耗时最长和最短的时间差，来判断是否需要进行负载均衡调节；当需要调节负载时，首先将按照权重排序的新闻类网站或社交媒体网站的关键词分配给各爬取节点，然后在权重方差减小的情况下交换所选取的任意两个爬取节点的新闻类网站或关键词，并记录交换后的状态，直至达到设定的交换次数；最后从记录的状态中选取具有最小权重方差的状态作为新闻类网站或社交媒体网站的关键词的最终分配状态，以实现爬取节点负载均衡调节的目的。 | ||
| 搜索关键词： | 网络 爬虫 系统 负载 均衡 调节 方法 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于山东省科学院情报研究所，未经山东省科学院情报研究所许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201710381508.4/，转载请声明来源钻瓜专利网。
