[发明专利]网络内容异步抓取系统和方法有效
| 申请号： | 201611053534.6 | 申请日： | 2016-11-24 |
| 公开（公告）号： | CN106599094B | 公开（公告）日： | 2020-05-22 |
| 发明（设计）人： | 卢刚;孙鹏宇;覃安 | 申请（专利权）人： | 百度在线网络技术（北京）有限公司 |
| 主分类号： | G06F16/951 | 分类号： | G06F16/951;G06F16/955;G06F9/48 |
| 代理公司： | 北京清亦华知识产权代理事务所(普通合伙) 11201 | 代理人： | 宋合成 |
| 地址： | 100085 北京市*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明提出一种网络异步抓取系统和方法，该网络异步抓取系统包括任务队列管理器，用于提供至少一个任务队列；调度器，用于从每个任务队列中读取待抓取网络内容的统一资源定位符URL，并根据URL所属任务所在后端的环境类型来触发驱动器对URL进行调度；驱动器，用于被调度器触发之后，读取URL所属任务的任务信息，基于任务信息将URL注入抓取池，并根据任务信息控制URL注入抓取池的频率，任务信息包括每秒查询率和并发值；执行器，用于从抓取池中读取URL，并对URL进行抓取。通过本发明能够在高并发时保障抓取系统的稳定性，有效节省系统资源，提升抓取性能。 | ||
| 搜索关键词： | 网络 内容 异步 抓取 系统 方法 | ||
【主权项】：
一种网络内容异步抓取系统，其特征在于，包括：任务队列管理器，用于提供至少一个任务队列；调度器，用于从每个任务队列中读取待抓取网络内容的统一资源定位符URL，并根据所述URL所属任务所在后端的环境类型来触发驱动器对所述URL进行调度；驱动器，用于被所述调度器触发之后，读取所述URL所属任务的任务信息，基于所述任务信息将所述URL注入抓取池，并根据所述任务信息控制所述URL注入所述抓取池的频率，所述任务信息包括每秒查询率和并发值；执行器，用于从所述抓取池中读取所述URL，并对所述URL进行抓取。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于百度在线网络技术（北京）有限公司，未经百度在线网络技术（北京）有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201611053534.6/，转载请声明来源钻瓜专利网。
- 内容再现系统、内容提供方法、内容再现装置、内容提供装置、内容再现程序和内容提供程序
- 内容记录系统、内容记录方法、内容记录设备和内容接收设备
- 内容服务系统、内容服务器、内容终端及内容服务方法
- 内容分发系统、内容分发装置、内容再生终端及内容分发方法
- 内容发布、内容获取的方法、内容发布装置及内容传播系统
- 内容提供装置、内容提供方法、内容再现装置、内容再现方法
- 内容传输设备、内容传输方法、内容再现设备、内容再现方法、程序及内容分发系统
- 内容发送设备、内容发送方法、内容再现设备、内容再现方法、程序及内容分发系统
- 内容再现装置、内容再现方法、内容再现程序及内容提供系统
- 内容记录装置、内容编辑装置、内容再生装置、内容记录方法、内容编辑方法、以及内容再生方法
