[发明专利]一种数据爬取过程的监测方法及系统

说明书

本申请提供了一种数据爬取过程的监测方法及系统，该方法通过结合检测数据爬取功能是否出现异常和检测爬虫程序的运行状态，确定数据爬取功能出现异常的原因，能提高确定数据爬取功能出现异常的原因的准确性，进而可以根据数据爬取功能出现异常的原因对数据爬取进行干预，提高数据爬取的可靠性。并且，在爬虫程序的运行状态为正常状态时，通过向被爬取对象发送探测报文，探测被爬取对象的网络状态、网站架构调整状态或防爬策略启动状态，得到探测结果，根据所述探测结果，确定数据爬取功能出现异常的原因，实现从爬虫程序自身之外的角度确定数据爬取功能出现异常的原因，提高数据爬取功能出现异常的原因的全面性，进一步提高数据爬取的可靠性。

技术领域

本申请涉及数据采集技术领域，特别涉及一种数据爬取过程的监测方法及系统。

背景技术

爬虫程序是一种按照一定的规则，自动地抓取万维网信息的程序。目前，一般会通过检测爬虫程序是否正常运行来判断数据爬取是否正常，即，如果爬虫程序正常运行，则认为数据爬取正常。

但是，发明人发现，在爬虫程序运行正常时，会存在爬取不到数据的问题，因此，上述检测方式存在局限性，导致数据爬取的可靠性不高。

发明内容

为解决上述技术问题，本申请实施例提供一种数据爬取过程的监测方法及系统，以达到提高数据爬取的可靠性的目的，技术方案如下：

一种数据爬取过程的监测方法，包括：

检测爬虫程序的数据爬取功能是否出现异常；

若出现异常，则检测所述爬虫程序的运行状态；

若所述爬虫程序的运行状态为正常状态，则通过向被爬取对象发送探测报文，探测所述被爬取对象的网络状态、所述被爬取对象的网站架构是否发生调整或所述被爬取对象是否启动防爬策略，得到探测结果；

根据所述探测结果，确定所述数据爬取功能出现异常的原因；

若所述爬虫程序的运行状态为异常状态，则确定所述数据爬取功能出现异常的原因为所述爬虫程序异常运行。

所述根据所述探测结果，确定所述爬虫程序的采集数据功能出现异常的原因之后，还包括：

生成所述爬虫程序的采集数据功能出现异常的原因对应的告警信息，并输出所述告警信息。

所述检测所述爬虫程序的运行状态之前，还包括：

从检测出所述爬虫程序的数据爬取功能出现异常的时刻为起始时刻，开始计时，并判断计时时长是否到达设定时间阈值；

若到达所述设定时间阈值，则检测所述爬虫程序的运行状态；

若未到达所述设定时间阈值，则返回执行所述检测爬虫程序的数据爬取功能是否出现异常的步骤。

所述确定所述数据爬取功能出现异常的原因为所述爬虫程序异常运行之后，还包括：

重启所述爬虫程序。

所述探测报文，包括：

网络状态检测报文或数据爬取报文。

一种数据爬取过程的监测系统，包括：

第一检测模块，用于检测爬虫程序的数据爬取功能是否出现异常；

第二检测模块，用于若所述爬虫程序的数据爬取功能出现异常，则检测所述爬虫程序的运行状态；

探测模块，用于若所述爬虫程序的运行状态为正常状态，则通过向被爬取对象发送探测报文，探测所述被爬取对象的网络状态、所述被爬取对象的网站架构是否发生调整或所述被爬取对象是否启动防爬策略，得到探测结果；