[发明专利]一种实现数字能源管理系统的分布式计算方法

说明书

本发明公开一种实现数字能源管理系统的分布式计算方法，涉及分布式计算技术领域；基于数字能源管理系统，利用NoSQL方式创建数据仓库，其中利用非关系型数据库及数据库引擎将多种数据源的数据组织成目标数据库支持的格式，并为组织好的每条数据建立全文索引，存入目标数据库，形成数据仓库，搭建Hadoop分布式环境，所述主节点分为任务处理主节点和数据存储主节点，所述子节点分为任务处理子节点和数据存储子节点，根据数字能源管理系统的计算任务，通过任务处理主节点将任务进行分片处理，将子任务分发至任务处理子节点，任务处理子节点根据子任务获取所述数据仓库中相关增量数据进行数据分析计算。

技术领域

本发明公开一种方法，涉及分布式计算技术领域，具体地说是一种实现数字能源管理系统的分布式计算方法。

背景技术

分布式计算将计算分解成许多小部分，分配给多台计算机进行处理，节约整体计算时间，提高计算的效率。分布式计算可以共享稀有资源，可以平衡多台计算机的运行负载，可以选择最适宜的主机进行计算。

Hadoop实现一个分布式的文件系统，具有高容错性的特点。可以通过提高吞吐量来增加应用程序数据的访问，也可以以数据流的形式来访问文件系统中的数据。

数字能源管理系统一般较为分散，数据量大，应用时需要分析的数据较多，但还没有较为完善的方法能够应对数字能源管理系统的数据访问及数据分析。

发明内容

本发明针对现有技术的问题，提供一种实现数字能源管理系统的分布式计算方法，采用分布式方法利用NoSQL实现数字能源管理系统的分布式计算，应对数字能源管理系统数据量大，应用多，需要分析的数据较多等情况。

本发明提出的具体方案是：

一种实现数字能源管理系统的分布式计算方法，基于数字能源管理系统，利用NoSQL方式创建数据仓库，其中利用非关系型数据库及数据库引擎将多种数据源的数据组织成目标数据库支持的格式，并为组织好的每条数据建立全文索引，存入目标数据库，形成数据仓库，

搭建Hadoop分布式环境，所述Hadoop分布式环境包括Hadoop的主节点和子节点，所述主节点分为任务处理主节点和数据存储主节点，所述子节点分为任务处理子节点和数据存储子节点，

根据数字能源管理系统的计算任务，通过任务处理主节点将任务进行分片处理，将子任务分发至任务处理子节点，任务处理子节点根据子任务获取所述数据仓库中相关增量数据进行数据分析计算。

进一步，所述的一种实现数字能源管理系统的分布式计算方法中所述利用NoSQL方式创建数据仓库，包括：

将数据源的数据通过定时任务或实时的方式接入所述数据仓库。

进一步，所述的一种实现数字能源管理系统的分布式计算方法中所述任务处理子节点进行数据分析计算之前，包括：

从所述数据仓库取出相关增量数据，经过Map数据映射之后转存入HDFS，

将从HDFS中取出所述相关增量数据交给数据存储主节点，由数据存储主节点指定所述相关增量数据的存储位置，并通知任务处理主节点执行数据分析计算任务流程。

进一步，所述的一种实现数字能源管理系统的分布式计算方法中所述任务处理子节点进行数据分析计算，包括：

任务处理主节点指定所述任务处理子节点执行数据分析计算任务，

进行所述数据分析计算任务的数据分析和数据挖掘的处理操作，

将处理操作的结果写回HDFS，并存入所述数据仓库。