[发明专利]一种数据采集效果的实时检测和评估方法及系统

权利要求书

1.一种数据采集效果的实时检测和评估方法，其特征在于：该方法通过对数据库中采集到的数据的值进行检测，判断采集的数据的完整性，通过对数据的数量的定时查询，判断数据采集的增量，通过对重点字段的数据种类的监控，判断数据采集质量，通过预先设置警戒值，采集标准低于警戒值时，调用邮件服务发送邮件提醒。

2.根据权利要求1所述的数据采集效果的实时检测和评估方法，其特征在于：所述方法具体包括以下步骤：

S1、监控数据采集进度，通过对采集数据增量的分析，形成增量预估曲线，预估数据采集完成时间；

S2、监控数据采集完整度，通过对采集结果存储表里的值进行检测，完成数据采集完整度监控；

S3、数据采集准确度的监控及修正，通过监控字段值的类型，辅助人工判断采集质量，修正数据采集结果值；

S4、警戒值设定及邮件告警，预设数据采集完整度的监控字段及警戒值和最低值，数据采集完整度低于警戒值和最低值时，发送告警邮件。

3.根据权利要求2所述的数据采集效果的实时检测和评估方法，其特征在于：该方法还包括以下步骤：

S5、界面可视化，来实现多用户的管理、权限管理和可视化操作。

4.根据权利要求3所述的数据采集效果的实时检测和评估方法，其特征在于：步骤S1中，预先配置数据库信息并设定数据采集完整度监控间隔，对数据采集结果进行定时查询，获取数据在间隔时间段的增量，通过对采集数据增量的分析，形成增量预估曲线，来预估数据采集完成时间。

5.根据权利要求4所述的数据采集效果的实时检测和评估方法，其特征在于：步骤S2中，数据采集完整度＝采集数据非空值数据总量/采集数据总量。

6.根据权利要求5所述的数据采集效果的实时检测和评估方法，其特征在于：步骤S3中，枚举类字段，通过监控字段值的类型，辅助人工判断采集质量，提前修正采集结果值。

7.一种数据采集效果的实时检测和评估系统，其特征在于：该系统包括以下模块：

数据采集进度监控模块：用于通过对采集数据增量的分析，形成增量预估曲线，预估数据采集完成时间来监控数据采集进度；

数据采集完整度监控模块：用于通过对采集结果存储表里的值进行检测，完成数据采集完整度监控；

数据采集准确度的监控及修正模块：用于通过监控字段值的类型，辅助人工判断采集质量，修正数据采集结果值；

警戒值设定及邮件告警发送模块：用于通过预设数据采集完整度的监控字段及警戒值和最低值，数据采集完整度低于警戒值和最低值时，发送告警邮件。

8.根据权利要求7所述的数据采集效果的实时检测和评估系统，其特征在于：还包括界面可视化模块，用于实现多用户的管理、权限管理和可视化操作。

9.根据权利要求7或8所述的数据采集效果的实时检测和评估系统，其特征在于：所述数据采集进度监控模块预先配置数据库信息并设定数据采集完整度监控间隔，对数据采集结果进行定时查询，获取数据在间隔时间段的增量，通过对采集数据增量的分析，形成增量预估曲线，来预估数据采集完成时间。

10.根据权利要求9所述的数据采集效果的实时检测和评估系统，其特征在于：数据采集完整度监控模块中数据采集完整度＝采集数据非空值数据总量/采集数据总量。