[发明专利]间歇性能源海量数据处理方法

摘要

本发明涉及一种间歇性能源海量数据处理方法，其步骤如下（1）建立间歇能源海量数据处理平台所述处理平台包括主、从云中枢服务器、第1至第11负载服务器、终端数据总线、负载总线和数据接口总线；（2）数据采集主、从云中枢服务器通过其数据采集接口C采集存储在终端数据计算机中的原始数据；（3）数据存储所采集的海量数据存储于HDFS；（4）数据处理数据处理是采用MapReduce模型对数据进行并行处理的；主云中枢服务器仅对数据的存储和处理进行统一的调度，而具体的数据存储和处理由第1至第11负载服务器完成。本发明的优点是处理速度快和安全可靠。

主权项

一种间歇性能源海量数据的处理方法，其特征在于步骤如下；（1）首先建立间歇能源海量数据处理平台：所述间歇能源海量数据处理平台包括主、从云中枢服务器、第1至第11负载服务器、终端数据总线、负载总线和数据接口总线；所述主、从云中枢服务器的数据采集接口C分别通过终端数据总线与终端数据计算机相连接，所述终端数据计算机中存有风电、太阳能、天气预报的原始数据；主、从云中枢服务器分别通过其上的主从切换口D相连接，所述主从切换接口D依次传送握手信号和同步信号；主、从云中枢服务器的第1至第11接口通过负载总线分别与第1至第11负载服务器相连接，所述第1至第11接口为标准的RJ‑45接口；所述主、从云中枢服务器的数据输出接口B通过数据接口总线分别与用户终端计算机相连接；所述主、从云中枢服务器的结构相同，所述主云中枢服务器包括CPU、第一存储单元、智能单元和电源模块；所述CPU分别与第一存储单元、智能单元双向连接，所述第一存储单元与智能单元双向连接，所述电源模块分别为所述CPU、第一存储单元和智能单元提供直流电源；所述智能单元由主控单元、第二存储单元、第一内部总线和第二内部总线组成；所述主控单元为嵌入式32位处理器，所述主控单元与第二存储单元相连接，所述主控单元的相应接口通过第一内部总线分别与所述主云中枢服务器的第1至第11接口相连接，所述主控单元的相应接口通过第二内部总线分别与主云中枢服务器的数据输出接口B、数据采集接口C、主从切换接口D相连接；所述主控单元分别与所述第一存储单元和所述CPU相连接；（2）数据采集：主、从云中枢服务器通过数据采集所支持的opc.Modbus协议，利用API完成数据的采集，所述API为应用编程接口；主、从云中枢服务器通过其数据采集接口C采集存储在终端数据计算机中的风电、太阳能、天气预报的原始数据，随后，由主、从云中枢服务器自动将所采集的数据拆分成若干个Map操作和Reduce操作，并由主云中枢服务器分配到所述第1至第11负载服务器中去执行；（3）数据存储：所采集的海量数据存储于HDFS，所述HDFS即Hadoop分布式文件系统，HDFS中的数据文件目录存储于主、从云中枢服务器中，而具体的文件数据被拆分为若干个数据分片，主云中枢服务器将所述若干个数据分片依次通过其第1至第11接口、负载总线分别存储在第1至第11负载服务器中；（4）数据处理：数据处理是采用MapReduce模型对数据进行并行处理的，将拆分的若干个Map操作和Reduce操作分配到所述第1至第11负载服务器中进行执行；主云中枢服务器仅对数据的存储和处理进行统一的调度，而具体的数据存储和处理由第1至第11负载服务器完成；所述Map操作是指对输入数据进行处理，产生一组中间的键值对集，即<Key，Value>；所述Reduce操作是指对具有相同键的键值对进行合并；最后将Map操作和Reduce操作所生成的文件汇总到最后的输出文件中去，供用户终端计算机访问。