[发明专利]一种分布式爬虫系统监控方法及装置在审
| 申请号： | 201910127161.X | 申请日： | 2019-02-20 |
| 公开（公告）号： | CN109818828A | 公开（公告）日： | 2019-05-28 |
| 发明（设计）人： | 尹学渊;汪洋;王东明 | 申请（专利权）人： | 成都嗨翻屋科技有限公司 |
| 主分类号： | H04L12/26 | 分类号： | H04L12/26;H04L29/08;G06F16/951 |
| 代理公司： | 成都睿道专利代理事务所(普通合伙) 51217 | 代理人： | 贺理兴 |
| 地址： | 610000 四川省成都市天*** | 国省代码： | 四川;51 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种分布式爬虫系统监控方法及装置，涉及数据挖掘技术领域，方法包括：获取爬虫目标数据，判断在第一时间段内获取到的爬虫目标数据数量与在上一个所述第一时间段内获取到的爬虫目标数据数量的差值是否超过预设阈值，若超过预设阈值，则向维护端发送异常告警信息；获取爬虫在爬取过程中产生的异常信息，根据第二时间段内获取到的所有异常信息生成异常信息统计表，并将异常信息统计表发送至维护端；本发明通过对于爬虫产出数据量是否异常进行监控实现了对爬虫系统本身的异常监控，同时通过对爬虫异常信息的监控，实现了快速定位爬虫系统本身的问题，无需运维人员花费大量的精力定位问题。 | ||
| 搜索关键词： | 爬虫 异常信息 爬虫系统 目标数据 时间段 监控方法及装置 统计表 预设 数据挖掘技术 发送 定位问题 快速定位 异常告警 异常监控 数据量 监控 运维 维护 | ||
【主权项】：
1.一种分布式爬虫系统监控方法，其特征在于，包括：获取爬虫目标数据，判断在第一时间段内获取到的所述爬虫目标数据数量与在上一个所述第一时间段内获取到的爬虫目标数据数量的差值是否超过预设阈值，若超过预设阈值，则向维护端发送异常告警信息；获取爬虫在爬取过程中产生的异常信息，根据第二时间段内获取到的所有所述异常信息生成异常信息统计表，并将所述异常信息统计表发送至维护端。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于成都嗨翻屋科技有限公司，未经成都嗨翻屋科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910127161.X/，转载请声明来源钻瓜专利网。
