[发明专利]一种基于大数据技术的图形化的数据质量评测的装置及方法

权利要求书

1.一种基于大数据技术的图形化的数据质量评测的装置，其特征在于：包括数据采集装置、设备监测装置、分布式存储器、spark内存计算引擎、计算单元、数据质量检核单元、数据预处理单元，其中数据采集装置分别与设备监测装置，设备监测装置连接分布式存储器，分布式存储器连接数据预处理单元，数据预处理单元包括spark内存计算引擎、计算单元、数据质量检核单元；

数据采集装置，用于实时或准实时获取设备信息异构数据，并将采集到的设备信息异构数据传输给设备监测装置；

设备监测装置，用于将设备信息异构数据收集，并推送到分布式存储器进行存储，并且以数据流入的方式，将设备监测装置数据输出至数据预处理单元过程；

分布式存储器，又称时序数据存储器，用于经过设备实时海量异构数据和数据预处理单元后的设备数据的存储。

Spark内存计算引擎，用于通过调用计算单元逻辑规则对数据进行计算，并将计算后的数据输出到分布式存储器；

计算单元，用于驱动调度规则引擎来调用和接收分布式存储器存储的数据，依据预先编排好的处理逻辑对调用和接收的数据进行处理，训练形成数据挖掘模型；

计算单元包括多个子计算单元，多个子计算单元按照实际业务需求图形化动态配置，动态编排形成作业；每个子计算单元独立存在，能够根据行业专家经验独立扩展演化，采用分布式的流式计算引擎对调用和接收的数据进行计算后实时输出，并将数据输出到分布式数据存储器；

数据质量检核单元，用于计算单元动态编排形成作业，基于Spark内存计算引擎构建数据质量检核单元，将数据完整性、规范性、一致性、准确性的质量校验规则转化为支持图形化参数配置和动态组合的计算单元；

数据预处理单元，用于将设备信息异构数据，依据数据质量检核单元进行数据的完整性、规范性、一致性、准确性的预处理，同时进行数据格式标准化，异常数据清除，错误纠正，重复数据的清除；并将多个数据源中的数据结合起来统一存储；数据概化和/或规范化方式将数据转换成适用于数据挖掘的数据形式的过程，并将预处理后的数据输出至分布式存储器。

2.如权利要求1所述的装置，其特征在于：所述数据采集装置为安装于监测设备上的数据采集传感器。

3.如权利要求1所述的装置，其特征在于：所述数据采集装置为监测设备安装区域的红外线检测器或者温度检测器。

4.如权利要求1所述的装置，其特征在于：还包括与设备监测装置连接的人工输入装置，用于在因安全要求实施了隔离措施或不支撑数据接入的情形下输入监测设备数据。

5.如权利要求1所述的装置，其特征在于：所述数据预处理单元还用于调用和接收分布式存储器中设备监测装置推送产生的新的时序数据，并对新的时序数据重复执行训练过程，对数据挖掘模型进行更新。

6.如权利要求1所述的装置，其特征在于：所述人工输入装置为笔记本电脑、平板电脑或手机。

7.一种利用如上述权利要求1-6任一项所述的基于大数据技术的图形化的数据质量评测的装置的评测方法，其特征在于，依次包括如下步骤：

(1)初始化，设置数据采集装置的初始参数，根据设置好的初始参数控制数据采集装置的采样周期为每小时10次，采样时间为7天，将7天内采样的数据求平均值A；

(2)在同样的初始参数条件下，实时采集数据，将每连续采集的4个数据作为一组[B C D E]，4个数据分别记为B、C、D、E，利用公式分别计算出误差分数M，其中：

$N=\frac{4A^{\′}}{(B+C+D+E)}$

式中A’为B、C、D、E中的一个取值；

(3)如果误差分数在阈值范围内，则认为次采集数据组有效，将B、C、D、E求平均数M，令P'为数据采集装置的实时测量数值，则：

A.如果则数据采集装置性能稳定，进入步骤(4)；

B.如果则数据采集装置性能不稳定，则进入步骤(1)；

(4)实时或准实时获取设备信息监测数据，并将采集到的设备信息监测数据传输给设备监测装置中，以数据推送的方式，推送到分布式存储器中(主要包括台账数据和历史数据，海量异构数据)，或者以流式输出的方式，将设备监测数据输出至数据预处理单元过程；

(5)以批量接入的方式，通过预定义的调度计划自动获取分布式存储器中的常规台账数据和历史数据，将设备海量异构数据以预处理规则进行数据的数据完整性、规范性、一致性、准确性的数据预处理单元,并将预处理后的数据输出至分布式存储器进行存储；

(6)以流式接入的方式，通过预定义的系统驱动获取分布式存储器中的设备海量异构数据，在预处理规则下进行数据数据完整性、规范性、一致性、准确性的数据预处理单元,并将预处理后的数据输出至分布式存储器进行存储，其中一致性评估指标参数的具体方式为：

在一致性算子中配置相关参数，M为问题数据项数，Q为缺少数据项个数，C为数据集的记录数，P为元数据定义数据项个数，

数据的一致性为：其中n为数据集的个数；

(7)通过数据预处理单元过程中计算引擎驱动调度规则引擎来调用和接收分布式存储器存储的数据，并且依据预先编排好的处理逻辑对调用和接收的数据进行处理，训练形成数据挖掘模型，将经过数据质量核检处理单元处理后的数据回传到分布式存储器。