[发明专利]一种多数据源环境下数据缺失自动检查及集中监控方法

说明书

本发明提供了一种多数据源环境下数据缺失自动检查及集中监控方法，包括：执行定时查缺处理，其中例如通过程序对多套数据中心接入的调度自动化系统的实时数据表进行定时扫描，以查找丢点数据并将丢点数据保存起来；执行数据汇总处理，其中在得到多套数据中心的各自的丢点数据后，将不同数据中心的丢点数据汇总到一起以形成总丢点文件；执行集中监控处理，其中使用报表工具将总丢点文件展示出来。

技术领域

本发明涉及企业数据质量领域，尤其涉及电力系统实时数据的质量检查，更具体地说，本发明涉及一种多数据源环境下数据缺失自动检查及集中监控方法。

背景技术

国家电网华东分部目前建有4套数据中心，D5000调度自动化系统的SCADA(数据采集与监控)实时数据是数据中心中最重要的数据之一，该数据包含电网重要一次设备十几种遥信遥测数据，要求实时接入数据中心。在这4套数据中心中，由于功能要求不同，接入数据的频度也不同，有的是1分钟断面(1分钟接入1次)，有的是15分钟断面，但都要求数据准确无误的接入；如果有数据丢失，需要及时发现并进行数据补缺。这就需要有一种方法，能对数据入库情况进行监控，及时发现数据丢失并反馈，由于数据中心比较多，最好能对4套数据中心统一进行监控。

监控类系统目前在各种生产系统中应用的比较多，但都基于各自的实际需要对一些重要指标进行监控，并在指标达到限值时进行报警，但针对数据缺失检查，特别是针对D5000调度自动化系统的SCADA数据缺失检查的系统或方法还没有。

对于将多个系统数据汇总到一起，目前市场上成熟的工具比较多，如ETL(Extract-Transform-Load，抽取-转换-加载)工具、Teiid等，可使用这些工具实现4套数据中心的统一监控。但是，现有的这些工具仍然无法解决多数据源数据丢失情况的集中监控。

发明内容

本发明所要解决的技术问题是针对现有技术中存在上述缺陷，由此本发明提供一种定时丢点扫描方法来实现对数据丢失情况的自动检查，然后将4套数据中心的缺失数据汇总在一起，并开发成报表，从而实现对4套数据中心数据丢失情况的集中监控，解决了多数据源数据丢失情况的集中监控问题。

为了实现上述技术目的，根据本发明，提供了一种多数据源环境下数据缺失自动检查及集中监控方法，包括：第一步骤：执行定时查缺处理，其中例如通过程序对多套数据中心接入的调度自动化系统的实时数据表进行定时扫描，以查找丢点数据并将丢点数据保存起来；第二步骤：执行数据汇总处理，其中在得到多套数据中心的各自的丢点数据后，将不同数据中心的丢点数据汇总到一起以形成总丢点文件；第三步骤：执行集中监控处理，其中使用报表工具将总丢点文件展示出来。

优选地，在第一步骤中，在执行定时查缺处理的过程中，对数据中心接入的调度自动化系统的实时数据表进行定时扫描，以查找丢点数据的丢点文件名。

优选地，第二步骤中使用ETL工具执行数据汇总处理。

优选地，在第一步骤中，首先根据实时数据的断面类型和时间范围生成全量时间点，随后根据全量时间点判断数据是否是丢点数据，并且获取被判断为丢点数据的数据的丢点时间。

优选地，在第一步骤中，还进一步将丢点时间转化为丢点文件名。

优选地，总丢点文件中标明了各丢点数据的来源。

优选地，所述来源由丢点数据的数据中心的名称表示。

优选地，在第三步骤中，就总丢点文件集中处理以得到统计报表和详细报表，并且将统计报表和详细报表展示出来。

优选地，所述多套数据中心为四套数据中心。

优选地，所述实时数据为SCADA实时数据。

附图说明