[发明专利]一种云计算中自动监控分布式网络爬虫的方法

摘要

本发明公开了一种云计算中自动监控分布式网络爬虫的方法，属于一种云计算技术，一种云计算中自动监控分布式网络爬虫的方法，通过脚本和轮询实现实时监控nutch任务，执行并自动启动下一步操作；由两个脚本实现，脚本Ⅰ是循环执行多个抓取周期，每个周期中顺序执行每一步任务，并将执行情况写入日志；脚本Ⅱ是使用crond实时监控任务是否在执行，如果终止，检查上一步执行情况，将中断信息发送邮件给运维人员，并自动启动下一步任务继续执行。本发明通过脚本和轮询实现实时监控nutch任务执行，并自动启动下一步操作；数据抓取时间，使用方便。

主权项

一种云计算中自动监控分布式网络爬虫的方法，其特征在于通过脚本和轮询实现实时监控nutch任务，执行并自动启动下一步操作；由两个脚本实现，脚本Ⅰ是循环执行多个抓取周期，每个周期中顺序执行每一步任务，并将执行情况写入日志；脚本Ⅱ是使用crond实时监控任务是否在执行，如果终止，检查上一步执行情况，将中断信息发送邮件给运维人员，并自动启动下一步任务继续执行，具体流程为：（1）、开始，每分钟执行一次获取是否有正在执行的nutch任务；（2）、如果没有执行nutch任务，将相关信息发送邮件给运维人员；（3）、从日志runapps.log中获取已经运行的周期数；（4）、若已经运行的周期数没有执行完指定循环数，从日志runapps.log中获取当前未结束的批次batchid，从日志runapps.log中获取上一步任务名称；（5）、若上一步任务名称为generate，则nutch获取，并将任务内容和结束时间写入日志runapps.log；若上一步任务名称为fetch，则nutch解析，并将任务内容和结束时间写入日志runapps.log；若上一步任务名称为parse，则nutch更新，并将任务内容和结束时间写入日志runapps.log；若上一步任务名称为updatedb，则nutch启动下一步任务继续执行。