[发明专利]一种数据采集监控方法及装置

说明书

本发明提供了一种数据采集监控方法及装置，所述方法包括：接收数据采集任务的配置信息；根据所述配置信息启动所述数据采集任务；在所述数据采集任务出现异常后记录异常数据。所述方法可在数据采集任务出现异常时记录异常数据，进而可通过查询异常数据定位异常原因，无需对每个数据源采集过程日志进行排查，从而极大的减少了异常排查时间，可快速定位出错的数据源，提高了数据采集出错的排查效率。

技术领域

本发明涉及数据采集技术领域，具体而言，涉及一种数据采集监控方法及装置。

背景技术

数据采集通常有两种：一种是从数据源收集、识别和选取数据的过程；另一种是数字化、电子扫描系统的记录过程以及内容和属性的编码过程。针对前一种，数据采集系统在对数据源数据进行数据采集时，往往会出现数据源地址异常、数据源登录账户异常或数据源数据质量低于预期，导致应用效果受到影响，甚至出现错误。当出现这些问题时，往往需要对每个数据源采集过程日志进行排查，以定位异常原因，这种排查方法不仅耗时久，效率低，且无法快速定位，及时修复问题。

由此可见，人们亟需一种在数据采集出现异常时能快速定位异常原因的方法。

发明内容

本发明解决的问题是：现有数据采集方法无法在数据采集异常时快速定位异常原因。

为解决上述问题，本发明提供一种数据采集监控方法，包括：

接收数据采集任务的配置信息；

根据所述配置信息启动所述数据采集任务；

在所述数据采集任务出现异常后记录异常数据。

可选的，所述方法还包括：

对所述异常数据进行汇总、整理并输出。

可选的，在所述数据采集任务出现异常后记录异常数据，包括：

获取所述配置信息中的数据源地址；

判断所述数据源地址是否连通；

若否，则记录数据源连通异常信息。

可选的，判断所述数据源地址是否连通之后，在所述数据采集任务出现异常后记录异常数据，还包括：

若是则获取所述配置信息中的数据源账号；

判断所述数据源是否可采集；

若所述数据源不可采集，则记录数据源账号权限异常信息。

可选的，在所述数据采集任务出现异常后记录异常数据，还包括：

待所述数据采集任务完成后，记录数据采集结果数；

获取所述配置信息中的数据量预测值；

判断所述数据采集结果数与所述数据量预测值的差值是否超过差值阈值；

若所述差值超过所述差值阈值，则记录数据采集结果数异常信息。

可选的，所述方法还包括：

待所述数据采集任务结束后，根据所述异常数据向管理员发送采集异常告警。

可选的，所述方法还包括：

对数据采集结果和所述异常数据进行界面化展示。

可选的，所述异常告警的方式包括声音提示、界面弹窗、短信通知、邮件通知、语音电话。

相对于现有技术，本发明所述的数据采集监控方法具有以下优势：