[发明专利]一种数据爬取过程的监测方法及系统

权利要求书

1.一种数据爬取过程的监测方法，其特征在于，包括：

检测爬虫程序的数据爬取功能是否出现异常；

若出现异常，则检测所述爬虫程序的运行状态；

若所述爬虫程序的运行状态为正常状态，则通过向被爬取对象发送探测报文，探测所述被爬取对象的网络状态、所述被爬取对象的网站架构是否发生调整或所述被爬取对象是否启动防爬策略，得到探测结果；

根据所述探测结果，确定所述数据爬取功能出现异常的原因；

若所述爬虫程序的运行状态为异常状态，则确定所述数据爬取功能出现异常的原因为所述爬虫程序异常运行。

2.根据权利要求1所述的方法，其特征在于，所述根据所述探测结果，确定所述爬虫程序的采集数据功能出现异常的原因之后，还包括：

生成所述爬虫程序的采集数据功能出现异常的原因对应的告警信息，并输出所述告警信息。

3.根据权利要求1所述的方法，其特征在于，所述检测所述爬虫程序的运行状态之前，还包括：

从检测出所述爬虫程序的数据爬取功能出现异常的时刻为起始时刻，开始计时，并判断计时时长是否到达设定时间阈值；

若到达所述设定时间阈值，则检测所述爬虫程序的运行状态；

若未到达所述设定时间阈值，则返回执行所述检测爬虫程序的数据爬取功能是否出现异常的步骤。

4.根据权利要求1所述的方法，其特征在于，所述确定所述数据爬取功能出现异常的原因为所述爬虫程序异常运行之后，还包括：

重启所述爬虫程序。

5.根据权利要求1-4任意一项所述的方法，其特征在于，所述探测报文，包括：

网络状态检测报文或数据爬取报文。

6.一种数据爬取过程的监测系统，其特征在于，包括：

第一检测模块，用于检测爬虫程序的数据爬取功能是否出现异常；

第二检测模块，用于若所述爬虫程序的数据爬取功能出现异常，则检测所述爬虫程序的运行状态；

探测模块，用于若所述爬虫程序的运行状态为正常状态，则通过向被爬取对象发送探测报文，探测所述被爬取对象的网络状态、所述被爬取对象的网站架构是否发生调整或所述被爬取对象是否启动防爬策略，得到探测结果；

第一确定模块，用于根据所述探测结果，确定所述数据爬取功能出现异常的原因；

第二确定模块，用于若所述爬虫程序的运行状态为异常状态，则确定所述数据爬取功能出现异常的原因为所述爬虫程序异常运行。

7.根据权利要求6所述的系统，其特征在于，所述系统还包括：

告警模块，用于生成所述爬虫程序的采集数据功能出现异常的原因对应的告警信息，并输出所述告警信息。

8.根据权利要求6所述的系统，其特征在于，所述系统还包括：

判断模块，用于在所述检测所述爬虫程序的运行状态之前，从检测出所述爬虫程序的数据爬取功能出现异常的时刻为起始时刻，开始计时，并判断计时时长是否到达设定时间阈值；

若到达所述设定时间阈值，则执行所述第二检测模块检测所述爬虫程序的运行状态；

若未到达所述设定时间阈值，则返回执行所述第一检测模块检测爬虫程序的数据爬取功能是否出现异常的步骤。

9.根据权利要求6所述的系统，其特征在于，所述系统还包括：

重启模块，用于重启所述爬虫程序。

10.根据权利要求6-9任意一项所述的系统，其特征在于，所述探测报文，包括：

网络状态检测报文或数据爬取报文。