[发明专利]基于三维场景的电力大数据快速可视化分析方法及系统

权利要求书

1.基于三维场景的电力大数据快速可视化分析方法，其特征在于：可视化分析方法的处理流程如下：

步骤一：采集数据，序列化到大数据文件系统HDFS中，并同时持久化到数据库HBase；

步骤二：决定采用何种方案对数据进行挖掘与分析，采用相应的智能算法；

步骤三：将输出的结果集映射到可视化模块成为图形信息，可视化引擎将结果集与场景集成，以三维空间场可视化的形式输出给用户。

2.基于三维场景的电力大数据快速可视化分析系统，其特征在于：所述可视化分析系统具有如下功能模块，分别是：

(1)业务模块：提供高层抽象接口，实现用户层的业务需求；

(2)可视化引擎：作为模型的核心子系统，应当实现数据与场景的集成方法，并实现大规模三维场景的快速渲染以达到实际应用的需求；

(3)计算模块：用于实施各种智能算法，完成数据挖掘工作；

(4)控制模块：用于完成大数据作业调度功能，实现合理的负载均衡控制；

(5)存储模块：用于存储数据，需要实现大数据文件系统和数据库系统。

3.根据权利要求2所述的基于三维场景的电力大数据快速可视化分析系统，其特征在于：所述将可能产生的业务结合以上模块对系统进行分层，分别为接口层、引擎层、计算层、控制层和持久化层；

(1)持久化层

采用Hadoop文件系统HDFS和数据库系统HBase，用于存储所有类型的数据，包括场景数据、数值数据以及实际运行中产生的日志数据等；

(2)控制层

采用Hadoop任务调度模块ZooKeeper和芯片级并行技术MPI分别用于控制不同类型的计算任务，ZooKeeper用于控制数据密集型计算模式STORM，MPI用于控制计算密集型计算模式CUDA。这些控制模块完成任务调度、低层次的负载均衡和简单的容错处理；

(3)计算层

对计算任务分类，不以图形计算和数据计算区分，而是根据计算特点分为数据密集型和计算密集型，采用这种分类方法的目的是为了尽可能提高计算效率，针对两种类型的计算任务分别采用与之相适应的并行计算模式，对于待计算的数据，凡是数据密集型的计都分配到STORM模块执行；凡是计算密集型的计算都分配到CUDA模块执行；

(4)引擎层

引擎是模型中的核心子系统，该模块实现一个快速渲染引擎，针对大数据环境下的大规模三维场景设计若干优化算法和策略，保证场景的实时渲染效率能够达到实际应用需求，大规模场景的实时渲染问题一直是研究的热点，本文针对此问题分别提出两种方法用于加速渲染：其一是基于八叉树的可见性剔除方法，其二是基于权重函数LOD的多分辨率绘制方法，这两种方法将在后续章节详细介绍算法与实施过程，并通过实验验证其效率。

(5)接口层

接口层作为高层抽象，需要对用户直接进行的操作定义一系列接口，这些接口应当包括对场景的操作和对数据的操作，以及其它操作，如场景导入、数据导入、数据分析、日志导出等，这些接口同时应当预留字段，指明所请求任务的计算类型是属于数据密集型还是属于计算密集型；对于不需要并行计算的任务，该字段应设为NULL，避免不必要的任务调度和节点间通信时间损耗。

4.根据权利要求3所述的基于三维场景的电力大数据快速可视化分析系统，其特征在于：在接口层收到计算任务请求时，对于数据密集型计算任务，应当考虑将数据量的并行度最大化，因此采用分布式实时计算框架STORM；对于计算密集型计算任务，应当考虑将函数线程的并行度最大化，因此采用超级计算框架CUDA；

STORM仅在CPU阵列上进行并行计算，CUDA仅在GPU阵列上进行并行计算，这两个中间层计算框架无需单独在集群硬件中划分自身的作用域，集群可采用多种机器作为节点，实现异构资源上的协同并行计算，计算层根据接口层定义的任务类型判断计算任务属于数据密集型还是计算密集型，将任务分解并分配到对应的计算框架，在不同类型的计算资源上进行并行处理，CUDA框架中的计算任务会被Hadoop分配到集群内所有的GPU资源进行并行计算处理，STORM框架中的计算任务则会被Hadoop分配到集群内所有的CPU资源进行并行计算处理。