[发明专利]一种基于分布存储和并行计算的电网数据质量检测方法

摘要

本发明公开了一种基于分布存储和并行计算的电网数据质量检测方法，包括以下步骤：采用HBase存储原始数据记录；采用HBase对校验规则涉及到的字段建立查询索引；采用HBase对原始数据记录建立时间戳索引，以便支持增量数据质量校验和细时间粒度的数据质量校验；采用HDFS存储数据记录的辅助索引文件和操作日志文件，以便全量历史数据质量校验时能够快速加载校验数据，提升校验性能；采用基于MapReduce的校验规则并行化处理，通过规则并行化处理提升校验性能。本发明解决了现有的基于关系数据库系统的电网数据质量检测方法可扩展性差，校验延时大，系统性价比低的问题。

主权项

一种基于分布存储和并行计算的电网数据质量检测方法，包括以下步骤：（1）采用一种分布存储方法对所有原始数据记录进行存储；（2）采用基于非主键的索引方法对校验字段进行索引，校验时根据校验规则涉及的校验字段查找索引表，获取对应的原始数据记录主键，再根据获取到的原始数据记录主键查找原始数据记录表获取原始数据记录，然后提取比对字段进行比对；（3）采用HBase对原始数据记录建立时间戳索引，在增量数据质量校验或者基于时间窗口的细时间粒度的数据质量校验时，根据时间戳范围查询原始数据记录表，确定需校验的数据范围后进行校验；（4）采用HDFS存储数据记录的辅助索引文件和操作日志文件，在全量原始数据质量校验时，将辅助索引文件读入内存，读取操作日志应用到内存索引上，然后基于内存索引进行校验；（5）采用基于MapReduce的并行化方式完成校验规则的快速执行。