[发明专利]一种基于大数据技术的图形化的数据质量评测的装置及方法

摘要

一种基于大数据技术的图形化的数据质量评测的装置及方法，包括数据采集装置、设备监测装置、分布式存储器、spark内存计算引擎、计算单元、数据质量检核单元、数据预处理单元，其中数据采集装置分别与设备监测装置，设备监测装置连接分布式存储器，分布式存储器连接数据预处理单元，数据预处理单元包括spark内存计算引擎、计算单元、数据质量检核单元，可以快速、高效、及时地处理和评估海量数据，同时保证设备安全、稳定、高效地运行。

主权项

一种基于大数据技术的图形化的数据质量评测的装置，其特征在于：包括数据采集装置、设备监测装置、分布式存储器、spark内存计算引擎、计算单元、数据质量检核单元、数据预处理单元，其中数据采集装置分别与设备监测装置，设备监测装置连接分布式存储器，分布式存储器连接数据预处理单元，数据预处理单元包括spark内存计算引擎、计算单元、数据质量检核单元；数据采集装置，用于实时或准实时获取设备信息异构数据，并将采集到的设备信息异构数据传输给设备监测装置；设备监测装置，用于将设备信息异构数据收集，并推送到分布式存储器进行存储，并且以数据流入的方式，将设备监测装置数据输出至数据预处理单元过程；分布式存储器，又称时序数据存储器，用于经过设备实时海量异构数据和数据预处理单元后的设备数据的存储。Spark内存计算引擎，用于通过调用计算单元逻辑规则对数据进行计算，并将计算后的数据输出到分布式存储器；计算单元，用于驱动调度规则引擎来调用和接收分布式存储器存储的数据，依据预先编排好的处理逻辑对调用和接收的数据进行处理，训练形成数据挖掘模型；计算单元包括多个子计算单元，多个子计算单元按照实际业务需求图形化动态配置，动态编排形成作业；每个子计算单元独立存在，能够根据行业专家经验独立扩展演化，采用分布式的流式计算引擎对调用和接收的数据进行计算后实时输出，并将数据输出到分布式数据存储器；数据质量检核单元，用于计算单元动态编排形成作业，基于Spark内存计算引擎构建数据质量检核单元，将数据完整性、规范性、一致性、准确性的质量校验规则转化为支持图形化参数配置和动态组合的计算单元；数据预处理单元，用于将设备信息异构数据，依据数据质量检核单元进行数据的完整性、规范性、一致性、准确性的预处理，同时进行数据格式标准化，异常数据清除，错误纠正，重复数据的清除；并将多个数据源中的数据结合起来统一存储；数据概化和/或规范化方式将数据转换成适用于数据挖掘的数据形式的过程，并将预处理后的数据输出至分布式存储器。