[发明专利]间歇性能源海量数据处理方法

说明书

技术领域

本发明涉及一种间歇性能源海量数据处理方法，适用于风电、太阳能等间歇性能源海量数据的存储和处理，另外可以收集和存储如实时天气预报数据、历史气象数据等一起处理，为各种高级应用提供数据支持，能够显著提高间歇性能源电厂的安全性和经济性。

背景技术

近年来，风电、太阳能等间歇性能源发展迅速，对间歇性能源所产生的海量数据的存储和处理被提到议事日程，经检索尚未发现相关的文献报导。

发明内容

本发明所要解决的技术问题是提供一种处理速度快和安全可靠的间歇性能源海量数据处理方法。

本发明解决其技术问题所采用的技术方案：

一种间歇性能源海量数据的处理方法，其特征在于步骤如下；

（1）首先建立间歇能源海量数据处理平台：

所述间歇能源海量数据处理平台包括主、从云中枢服务器、第1至第11负载服务器、终端数据总线、负载总线和数据接口总线；

所述主、从云中枢服务器的数据采集接口C分别通过终端数据总线与终端数据计算机相连接，所述终端数据计算机中存有风电、太阳能、天气预报的原始数据；主、从云中枢服务器的主从切换接口D相连接，所述主从切换接口D依次传送握手信号和同步信号；主、从云中枢服务器的第1至第11接口通过负载总线分别与第1至第11负载服务器相连接，所述第1至第11接口为标准的RJ-45接口；

所述主、从云中枢服务器的数据输出接口B通过数据接口总线分别与用户终端计算机相连接；

所述主、从云中枢服务器的结构相同，所述主云中枢服务器包括CPU、第一存储单元、智能单元和电源模块；

所述CPU分别与第一存储单元、智能单元双向连接，所述第一存储单元与智能单元双向连接，所述电源模块分别为所述CPU、第一存储单元和智能单元提供直流电源；

所述智能单元由主控单元、第二存储单元、第一内部总线和第二内部总线组成；所述主控单元为嵌入式32位处理器，所述主控单元与第二存储单元相连接，所述主控单元的相应接口通过第一内部总线分别与所述主云中枢服务器的第1至第11接口相连接，所述主控单元的相应接口通过第二内部总线分别与主云中枢服务器的数据输出接口B、数据采集接口C、主从切换接口D相连接；所述主控单元分别与所述第一存储单元和所述CPU相连接。

（2）数据采集：

主、从云中枢服务器通过数据采集所支持的opc.Modbus协议，利用API完成数据的采集，所述API为应用编程接口；主、从云中枢服务器通过其数据采集接口C采集存储在终端数据计算机中的风电、太阳能、天气预报的原始数据，随后，由主、从云中枢服务器自动将所采集的数据拆分成若干个Map操作和Reduce操作，并由主云中枢服务器分配到所述第1至第11负载服务器中去执行；

（3）数据存储：

所采集的海量数据存储于HDFS，所述HDFS即Hadoop分布式文件系统，HDFS中的数据文件目录存储于主、从云中枢服务器中，而具体的文件数据被拆分为若干个数据分片，主云中枢服务器将所述若干个数据分片依次通过其第1至第11接口、负载总线分别存储在第1至第11负载服务器中；

（4）数据处理：

数据处理是采用MapReduce模型对数据进行并行处理的，将拆分的若干个Map操作和Reduce操作分配到所述第1至第11负载服务器中进行执行；主云中枢服务器仅对数据的存储和处理进行统一的调度，而具体的数据存储和处理由第1至第11负载服务器完成；

所述Map操作是指对输入数据进行处理，产生一组中间的键值对集，即<Key，Value>；

所述Reduce操作是指对具有相同键的键值对进行合并；

最后将Map操作和Reduce操作所生成的文件汇总到最后的输出文件中去，供用户终端计算机访问。

所述CPU的型号为Intel Xeon E5-2650；所述第一存储单元由内存和辅助存储器组成，所述内存的型号为ECC DDR3，所述辅助存储器为SATA硬盘或移动存储器；所述电源模块的型号为94Y6668。

所述嵌入式32位处理器的型号为ARM9，所述第二存储单元的型号为DDR2+SDHC。