[发明专利]爬虫模板变更的监测方法、系统、电子设备及存储介质

说明书

本发明公开了一种爬虫模板变更的监测方法、系统、电子设备及存储介质，该方法包括：在爬虫脚本库中查找无数据的爬虫脚本；将查找到的所有无数据的爬虫脚本所对的配置id存储至无数据爬虫脚本数据库中；将无数据爬虫脚本数据库中的配置id加入检测队列进行无数据检测；根据配置id得到配置id所对应的爬虫脚本的代码信息；根据代码信息得到爬虫脚本中的URL集合，遍历下载URL集合中的每一个URL，得到每一个URL下载结果值；根据URL下载结果值是否为空、URL请求响应状态码是否等于第一预设状态码、URL详情链接数量是否大于零、位于三层模板中的回调函数的回调返回值是否有值，确定爬虫模板是否变更。上述方法通过监测多个返回值实现了自动爬虫模板变更监测。

技术领域

本发明涉及数据监测技术领域，具体涉及到一种爬虫模板变更的监测方法、系统、电子设备及存储介质。

背景技术

在数据爬取的过程中不可避免的出现异常，导致爬虫数据的不准确，对爬虫数据的质量进行监控能够及时发现问题，保证数据的可靠性。

通常对爬虫数据质量的监控包括以下步骤：首先分析spider文件是否正常运行（即有无数据）；有数据情况下，接收数据源进行检测，规则的对比；无数据情况下，进行设定的方法、规则运行框架进行检测，具体监测流程图如图1所示。上述步骤中的设定方法、规则需要人工根据经验去寻找，不够智能。

发明内容

有鉴于此，本发明实施例提供了一种爬虫模板变更的监测方法、系统、电子设备及存储介质，以解决现有技术中爬虫模板变更监测不够智能化的问题。

为此，本发明实施例提供了如下技术方案：

根据第一方面，本发明实施例提供了一种爬虫模板变更的监测方法，包括：在爬虫脚本库中查找无数据的爬虫脚本，爬虫脚本库中包括不能够爬取到数据的无数据爬虫脚本和能够爬取到数据的有数据爬虫脚本，每一个爬虫脚本均唯一对应一个配置id；将查找到的所有无数据的爬虫脚本所对的配置id存储至无数据爬虫脚本数据库中；将无数据爬虫脚本数据库中的配置id加入检测队列进行无数据检测；根据所述配置id得到所述配置id所对应的爬虫脚本的代码信息；根据所述代码信息得到所述爬虫脚本中的URL集合，遍历下载所述URL集合中的每一个URL，得到每一个URL下载结果值；判断所述URL下载结果值是否为空；若所述URL下载结果值不为空，则判断URL请求响应状态码是否等于第一预设状态码；若所述URL请求响应状态码等于所述第一预设状态码，则对URL进行爬虫解析，得到URL详情链接数量；判断所述URL详情链接数量是否大于零；若所述URL详情链接数量小于或者等于零，则表明列表页模板变更；若所述URL详情链接数量大于零，则判断位于三层模板中的回调函数的回调返回值是否有值；若所述回调返回值没有值，则所述URL无二级链接，进行两层模板检测；若所述回调返回值有值，则所述URL有二级链接，进行三层模板检测。

可选地，若所述回调返回值没有值，则所述URL无二级链接，进行两层模板检测的步骤中，包括：若所述回调返回值没有值，则下载列表链接，得到列表链接下载返回值；判断所述列表链接下载返回值是否为空；若所述列表链接下载返回值不为空，则判断列表链接请求状态码是否等于第二预设状态码；若所述列表链接请求状态码等于所述第二预设状态码，则进入详情页进行检测。