[发明专利]一种自动监控数据采集进度的方法

说明书

本发明公开一种自动监控数据采集进度的方法，涉及数据处理技术领域，其实现包括：在分析库创建监控表，采集模块每完成一次采集工作都会生成一条采集数据并自动写入监控表；基于监控表的采集数据，在分析库创建配置表；在配置表中，针对监控表的每一条采集数据，配置待监控采集数据的日期差上限Δ，其中日期差上限Δ根据作业系统或作业表设定不同的工作模式；启动监控模块，监控模块自动获取监控表和配置表的数据，通过计算每条采集数据的时长，与对应的日期差上限Δ进行比较，得到采集进度的反馈结果。本方法能对数据采集进度进行自动化监控，能及时收到数据采集完成和异常情况，以将数据及时从作业库采集到分析库。

技术领域

本发明涉及数据处理技术领域，具体的说是一种自动监控数据采集进度的方法。

背景技术

随着计算机科学和信息科学发展，各类企业单位的作业系统产生海量的数据，这些原始数据存放于作业库中。我们往往不能直接利用这些原始数据，我们需要通过数据采集的方式将这些原始数据保存到分析库，才能供下游工作人员使用。

数据采集，又称数据获取，是利用一种装置或方法，从系统外部采集数据并输入到系统内部的一个接口，被广泛应用在各个领域。在互联网行业快速发展的今天，数据采集已经被广泛应用于互联网及分布式领域，数据采集领域已经发生了重要的变化。首先，分布式控制应用场合中的智能数据采集系统在国内外已经取得了长足的发展。其次，总线兼容型数据采集插件的数量不断增大，与个人计算机兼容的数据采集系统的数量也在增加。国内外各种数据采集方法和装置先后问世，将数据采集带入了一个全新的时代。

数据采集的过程中，由于数据量巨大和原始作业系统众多，为了不影响分析人员使用数据，保证数据及时从作业库采集到分析库，我们需要实时关注采集进度。而这项任务单纯由人工检查很难实现。

发明内容

本发明为了节约成本、解放人力、高效工作，达到不影响分析人员使用数据，保证数据及时从作业库采集到分析库的目的，提供一种自动监控数据采集进度的方法。

本发明的一种自动监控数据采集进度的方法，解决上述技术问题采用的技术方案如下：

一种自动监控数据采集进度的方法，该方法的实现过程包括：

步骤1、在分析库创建监控表，采集模块每完成一次采集工作都会生成一条采集数据并自动写入监控表；

步骤2、基于监控表的采集数据，在分析库创建配置表；

步骤3、在配置表中，针对监控表的每一条采集数据，配置待监控采集数据的日期差上限Δ，其中日期差上限Δ根据作业系统或作业表设定不同的工作模式；

步骤4、启动监控模块，监控模块自动获取监控表和配置表的数据，通过计算每条采集数据的时长，与对应的日期差上限Δ进行比较，得到采集进度的反馈结果。

进一步的，所涉及监控表的每条采集数据分别包括字段名、数据类型和注释三部分，其中，字段名包括table_name、prod_date、fin_date，数据类型包括字符串型和日期型，注释用于根据字段名和数据类型进行解释；每条采集数据的时长就等于fin_date和prod_date所对应日期的差值。

更进一步的，所涉及配置表的每条采集数据分别包括字段名、数据类型和注释三部分，其中，字段名包括table_name、delta，数据类型包括字符串型和数值型，注释用于根据字段名和数据类型进行解释。

更进一步的，所涉及日期差上限Δ根据作业系统或作业表设定T+0模式，

T+0模式下，作业库当天产生的数据必须当天采集进入到分析库，此时Δ设置为0，