[发明专利]以用户历史优化WEB爬取有效
| 申请号： | 201280038672.0 | 申请日： | 2012-07-31 |
| 公开（公告）号： | CN103718171B | 公开（公告）日： | 2016-11-09 |
| 发明（设计）人： | D.M.维尔曼;F.卡内尔;B.什亚姆库马;C.(X.)张 | 申请（专利权）人： | 微软技术许可有限责任公司 |
| 主分类号： | G06F17/00 | 分类号： | G06F17/00;G06F17/30 |
| 代理公司： | 永新专利商标代理有限公司 72002 | 代理人： | 王英 |
| 地址： | 美国华*** | 国省代码： | 美国;US |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 一种优雅管理器基于由客户端web浏览器上的插件或工具栏所生成并且发送的历史上的日志数据来估计到站点的业务量。所述历史上的日志数据详述所述web浏览器访问不同web站点的日期和时间，所述历史上的日志数据被用来理解特定web站点什么时间帧是忙碌的并且所述web站点什么时间帧不是忙碌的。对于web站点的针对不同时间帧的爬取速率基于所述历史上的日志数据被确定，并且web爬取器被调度来根据所述爬取速率来爬取所述web站点以便最小化web爬取器请求对站点崩溃有责任的机会。 | ||
| 搜索关键词： | 用户 历史 优化 web | ||
【主权项】：
一种用于爬取web站点的方法，包括：在服务器处从多个web浏览器接收日志数据，所述日志数据指示通过所述web浏览器访问所述web站点的用户；在服务器处使用所述日志数据来估计在时间帧期间到所述web站点的业务量；由服务器基于业务量的估计来确定在所述时间帧期间对于所述web站点的页面请求的门限频率；在服务器处确定在所述时间帧期间的低于页面请求的门限频率的爬取速率；以及使用所述爬取速率来调度一个或多个web爬取器来请求所述web站点。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于微软技术许可有限责任公司，未经微软技术许可有限责任公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201280038672.0/，转载请声明来源钻瓜专利网。
- 上一篇：PVC装饰膜多层无胶复合压纹连续生产设备
- 下一篇：机械式真空回潮机
