[发明专利]一种信息处理方法和服务器有效
| 申请号： | 201610031134.9 | 申请日： | 2016-01-18 |
| 公开（公告）号： | CN106982268B | 公开（公告）日： | 2020-09-11 |
| 发明（设计）人： | 黄文飞;吴一飞;施驭;李振洋 | 申请（专利权）人： | 腾讯科技（北京）有限公司 |
| 主分类号： | H04L29/12 | 分类号： | H04L29/12;H04L12/873 |
| 代理公司： | 北京派特恩知识产权代理有限公司 11270 | 代理人： | 江宇;姚开丽 |
| 地址： | 100080 北京市海淀区海淀*** | 国省代码： | 北京;11 |
| 权利要求书： | 暂无信息 | 说明书： | 暂无信息 |
| 摘要： | 本发明实施例公开了一种信息处理方法和服务器，包括：将待进行数据抓取的任务信息添加至任务池中；提取所述任务信息的域名信息，依据所述域名信息生成令牌，将所述令牌添加至令牌池中；依据所述令牌池中所述域名信息下可调度的任务信息数量确定所述域名信息对应的抓取速率；扫描所述令牌池，依据所述抓取速率确定所述域名信息对应的令牌数量，在所述令牌数量满足预设条件时，将相应数量的令牌发送至调度队列中；从所述调度队列中获得令牌，依据所述令牌对应的域名信息在所述任务池中选择满足第二预设条件的第一任务信息，将所述第一任务信息添加至处理队列中；从所述处理队列中提取所述第一任务信息，依据所述第一任务信息执行相应数据的抓取。 | ||
| 搜索关键词： | 一种 信息处理 方法 服务器 | ||
【主权项】：
一种信息处理方法，其特征在于，所述方法包括：将待进行数据抓取的任务信息添加至任务池中；提取所述任务信息的域名信息，依据所述域名信息生成令牌，将所述令牌添加至令牌池中；依据所述令牌池中所述域名信息下可调度的任务信息数量确定所述域名信息对应的抓取速率；扫描所述令牌池，依据所述抓取速率确定所述域名信息对应的令牌数量，在所述令牌数量满足预设条件时，将相应数量的令牌发送至调度队列中；从所述调度队列中获得令牌，依据所述令牌对应的域名信息在所述任务池中选择满足第二预设条件的第一任务信息，将所述第一任务信息添加至处理队列中；从所述处理队列中提取所述第一任务信息，依据所述第一任务信息执行相应数据的抓取。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于腾讯科技（北京）有限公司，未经腾讯科技（北京）有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201610031134.9/，转载请声明来源钻瓜专利网。
