[发明专利]一种基于分布式计算的广域测量系统数据处理方法

说明书

一种基于分布式计算的广域测量系统数据处理方法，主要通过对分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodityhardware)上的分布式文件系统，用它来储存广域监测系统WAMS(Wide Area Measurement System)大量的数据加载方法，利用MapReduce的软件架构，用于大规模数据集对许多的文件进行抽样加载和转换，将大量的文件分布和储存到各个云计算平台，实现数据的分类和备份处理，利用ＭａｐＲｅｄｕｃｅ优化关联Ａｐｒｉｏｒｉ算法对ＷＡＭＳ电网数据挖掘中的应用进行改进，系统平台中的大量的ｌｏｇ文件的数据问题的处理的本质其实四是利用此分布式计算云平台对ｌｏｇ形式的文件进行数据挖掘，利用ＭａｐＲｅｄｕｃｅ对数据处理算法的改进增强了该算法的并行处理能力。

技术领域

本方法主要涉及到信息技术领域，特别涉及到一种基于分布式计算的广域测量系统数据处理方法。

背景技术

随着现代科学技术的不断发展，信息技术的不断踊跃在各个行业中，利用计算机来处理数据,提取信息是信息系统的基本功能，在当今高度信息化的社会里,Web可以说是目前最大的信息系统,其数据具有海量、多样、异构、动态变化等特性。网广域测量系统（ＷＡＭＳ）作 为电 网动态监测技术平台，是智能电网实时监控的重要部分，可实现对全网同步相角及电网各个站点主要数据的实时高速率采集。但是目前的ＷＡＭＳ平台的故障信息系统建设和诊断方法的研究也存在问题。主要表现在以下几个方面：1、数据的冗余性大；2数据采集的过程中，不能对数据进行类别分类，导致采集到了很多没有价值的数据，浪费了时间资源；3、采集数据的设备成本价格很高，为了解决这些问题，一种基于分布式计算的广域测量系统数据处理方法有着极其重要的意义。

发明内容

一种基于分布式计算的广域测量系统数据处理方法，它主要是通过分布式文件系统(HDFS)被设计成适合运行在通用硬件上的分布式文件系统，用它来储存广域监测系统WAMS大量的数据以及加载。

一种基于分布式计算的广域测量系统数据处理方法，它主要是通过对平台架构进行设计。要设计包含在以下几个方面：1、利用ＭａｐＲｅｄｕｃｅ将资源进行集群，通过对分布式文件系统（ＨＤＦＳ）可调用集群的最大存储资源；2、将ＭａｐＲｅｄｕｃｅ作为处理数据的一个接口，让任务零散分布，使编程者对处理的过程以及结果实现了透明化，通过对ＭａｐＲｅｄｕｃｅ根据不同数据特点对接口进行调节，实现高容错率；3、结合 ＭａｐＲｅｄｕｃｅ改进关联规则算法，可实现数据操作并行执行，提高了传统关联算法的效率。

一种基于分布式计算的广域测量系统数据处理方法，它主要是通过对数据模块进行处理主要包括数据加载模块和系统数据ＥＴＬ模块。通过采用同步相角测量技术，利用ＰＭＵ。实现对并行数据 ＥＴＬ 的主要方法为数据抽取和数据清洗转换。