[发明专利]一种基于Hadoop的海量录波数据存储和解析方法及系统

说明书

本发明公开了一种基于Hadoop的海量录波数据存储和解析方法，包括预处理步骤、解压缩故障录波数据步骤、配置文件解析与存储步骤以及数据文件解析与存储步骤，可以解决海量故障录波数据存储、快速解析及查询的问题，所有计算步骤易于实现，解析和查询速度显著提高，为进一步利用海量故障录波数据进行故障分析提供了技术支持。本发明还公开了一种基于Hadoop的海量录波数据存储和解析系统，包括预处理模块、数据解压缩模块、录波数据解析模块、数据输出模块、节点分配调度模块以及数据存储和查询模块。

技术领域

本发明涉及一种基于Hadoop的海量录波数据存储和解析方法及系统，属于电力系统故障诊断领域。

背景技术

故障录波系统已经成为智能电网必不可少的组成部分。故障录波装置监视电网运行状况，其记录的数据能够提供故障状态下的暂态数据，为电力系统故障分析及对各种保护动作行为的分析和评价提供了主要依据。现行标准下的不同厂商所生产的故障录波装置都提供COMTRADE格式的录波数据生成接口用于保存和传输，因此本发明主要针对COMTRADE格式的故障录波数据进行分析。COMTRADE格式文件主要包括头文件(*.HDR)、配置文件(*.CFG)、数据文件(*.DAT)、信息文件(*.INF)。其中，主要对配置文件和数据文件进行解析。

随着电网的互联规模和运行复杂性不断增大，电网间的联系也越来越紧密，故障录波记录的数据呈现海量化趋势：(1)记录的设备增多，较低电压等级的厂站亦开始投入故障录波装置进行录波；(2)随着设备的更新换代和现代通信技术的发展，为了能够更好的监视和分析电网的运行状况，要求记录的数据逐渐更加详实，可记录长时记录故障前稳定运行数据以及故障后长达几分钟甚至上小时的录波数据，单个厂站的录波能达到GB级甚至10GB级水平；(3)由于电网联系越来越紧密，当发生复杂故障时，多个厂站启动录波装置记录数据，故障录波联网系统总站从各个子站接收到海量的故障录波数据。面对这些数据量大、可靠性和实时性要求高的录波数据，常规的数据存储、解析、分析会遇到极大的困难。Hadoop是一款免费开源的分布式存储和计算平台，是云计算研究和应用最具代表性的产品，其为开发者提供了一个分布式系统的基础架构，用户可以利用由Hadoop统一起来的集群存储资源、网络资源和计算资源，实现基于海量数据的高速存储和运算。Hadoop云计算平台具有超大规模、高可靠性、高可扩展性、按需服务和极其廉价的特点，为上述问题的解决带来了机遇。

Hadoop的核心技术是HDFS、MapReduce和HBase。HDFS是MapReduce计算默认使用的分布式文件系统，其被设计成适合部署在低廉的通用硬件上，且是面向块结构的，具有很高的容错性。MapReduce是一种编程模型，用于大规模数据集的并行计算。MapReduce在执行时先指定一个Map函数，把输入键值对映射成一组新的键值对，经过一定处理后交给Reduce函数，Reduce函数对相同key下的所有value进行处理后再输出键值作为最终的结果。HBase是一种分布式数据库，与传统的关系型数据库基于行进行存储不同，其基于列存储且对于存储非结构化数据具有很大的优势。HBase中的表相当于一个大的映射关系，可以通过行键、行键+时间戳或者行键+列来查询定位特定数据。

发明内容

本发明的目的是克服现有技术的缺陷，提供一种基于Hadoop的海量录波数据存储和解析方法，可以提高海量故障录波存储和解析的速度和效率。

本发明的另外一个目的是提供一种基于Hadoop的海量录波数据存储和解析系统。

实现上述目的技术方案是：一种基于Hadoop的海量录波数据存储和解析方法，包括以下步骤：

S1，预处理步骤：在HBase中创建录波文件信息表并在表中创建文件信息列族；创建故障录波数据表并在表中创建CFG数据列族和DAT数据列族；创建配置文件字段涵义表，并在表中创建字段列族，以字段对应的行数作为行键，字段所在列数作为列名，对应的字段名作为列值存入表中；

S2，解压缩故障录波数据步骤，包括以下工序：