[发明专利]一种电力多维全景数据的预处理系统

摘要

本发明涉及一种电力多维全景数据的预处理系统，包括依次相连的数据清洗模块、数据存储与检索模块和数据的价值提取模块。本发明的电力对位全景数据的预处理方法生成系统，能有效处理来自电力系统的海量交易数据、海量交互数据和海量处理数据，快速判断数据类型并提取数据价值。

主权项

1.一种电力多维全景数据的预处理系统，其特征在于，包括依次相连的：/n数据清洗模块：用于对电力多维全景数据进行修正、降噪和填补缺失值，包括属性识别、坏数据辨析、数据分类、数据填补和平滑处理，此模块用来提高数据质量，有助于提高数据挖掘过程的准确率和效率；该数据清洗模块利用时间序列模型识别各状态量的时间序列，从而得到数据的属性值，检测出数据的异常模式，判断异常数据是能提取设备故障信息的有用数据还是可被清洗的无用数据，然后将数据进行分类，将分类后的数据分别用时间序列干预模型进行拟合以提取有效故障信息；在数据清洗时，根据序列中异常值的种类选择不同的修正公式，从而达到修正噪声点数据和填补缺失值的目的；/n数据存储模块：用于对经过数据清洗后的电力多维全景数据进行存储与管理，以更好的方式优化存储空间，支持海量同构异构的电力数据；该数据存储模块充分考虑数据的相关性和时空属性，以关系型数据库和key-value的非关系型数据库来支持海量数据的存储与处理，对数据进行存储优化和基于MapReduce的并行分析处理，并使用MapReduce框架设计实现了数据的并行分析算法；/n数据集成模块：用于在数据存储后，针对大量的、分布式的数据源，将这些数据按一种统一的结构与方式进行处理，将分散的数据集中起来形成统一的数据集；该数据集成模块考虑到数据来源于多个数据库、数据仓库或一般文件，将它们按照数据类型分别存入结构化数据库和非结构化数据库之后，为了便于数据的索引与提取，设计基于数据关联矩阵的数据聚集方法，建立两种数据库之间的关联关系，最后将两种类型数据库并行连接，采用分层结构构建一个大的数据平台。/n