[发明专利]一种分布式垂直爬虫方法及终端设备在审
| 申请号： | 201810547735.4 | 申请日： | 2018-05-31 |
| 公开（公告）号： | CN108874925A | 公开（公告）日： | 2018-11-23 |
| 发明（设计）人： | 张中月;姜仕鹏;孙岳;倪安 | 申请（专利权）人： | 深圳市酷达通讯有限公司 |
| 主分类号： | G06F17/30 | 分类号： | G06F17/30 |
| 代理公司： | 深圳中一联合知识产权代理有限公司 44414 | 代理人： | 张全文 |
| 地址： | 518000 广东省深圳市福田区沙头街道*** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明适用于信息检索技术领域，提供了一种分布式垂直爬虫方法及终端设备，包括：中控平台将抓取任务发送至任务分发平台；任务分发平台根据抓取任务的任务类型、数据抓取平台的终端类型、数据抓取平台的网络类型和数据抓取平台的爬取能力中的至少一种，确定抓取任务的分发策略，并根据分发策略，将抓取任务分发至数据抓取平台；数据抓取平台根据抓取任务进行数据抓取，并将抓取结果发送至数据分析平台；数据分析平台根据抓取结果，加载预设置的数据萃取策略，判断是否有新的抓取任务，若有，将新的抓取业务通过任务分发平台分发至数据抓取平台，若无，将抓取结果发送至中控平台。该方法解决了数据量巨大时爬虫端抓取效率较低的问题。 | ||
| 搜索关键词： | 抓取 数据抓取 任务分发 爬虫 数据分析平台 分发策略 结果发送 终端设备 垂直 信息检索技术 任务发送 任务类型 网络类型 业务通过 终端类型 数据量 预设置 加载 萃取 分发 | ||
【主权项】：
1.一种分布式垂直爬虫方法，其特征在于，该方法应用于一种中控平台，中控平台与任务分发平台、数据分析平台和数据抓取平台相连接，该方法包括：获取任务分发平台、数据分析平台和数据抓取平台的性能数据；当所述性能数据的值超过预设值时，发出预警信息。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于深圳市酷达通讯有限公司，未经深圳市酷达通讯有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201810547735.4/，转载请声明来源钻瓜专利网。
