[发明专利]一种基于spark技术的配电网海量数据的处理及分析方法

权利要求书

1.一种基于spark技术的配电网海量数据的处理及分析方法，其特征在于，包含以下步骤：

(1)对配电网设备地理信息与拓扑信息文件使用正则表达式进行信息提取及存储；

(2)将提取的信息由半结构化数据转为结构化数据；

(3)对结构化数据进行构建；

(4)基于spark技术对构建的数据进行存储并转换为计算机可识别的代码，进行数据展示。

2.根据权利要求1所述基于spark技术的配电网海量数据的处理及分析方法，其特征在于，步骤(1)包括如下步骤：

(a)对配电网设备地理信息与拓扑信息文件进行分析，了解文件的基本格式；

(b)从文件中根据正则表达式提取出拓扑信息及设备经纬度信息；

(c)将提取出的拓扑信息及设备经纬度信息数据进行存储。

3.根据权利权利要求2所述基于spark技术的配电网海量数据的处理及分析方法，其特征在于：所述文件为CIM模型文件。

4.根据权利要求1所述基于spark技术的配电网海量数据的处理及分析方法，其特征在于，步骤(2)具体包括如下步骤：

(a)简化提取的配电网拓扑结构；

(b)以节点为索引建立设备之间的连接关系；

(c)将设备之间的连接关系转换为对应的拓扑关系数据表。

5.根据权利要求1所述基于spark技术的配电网海量数据的处理及分析方法，其特征在于，步骤(3)具体包括如下步骤：将结构化数据转换为表格形式数据并进行数据持久化。

6.根据权利要求1所述基于spark技术的配电网海量数据的处理及分析方法，其特征在于，步骤(4)具体包括如下步骤：

(a)将构建的数据集进行分块并存储于集群中的不同节点；

(b)将构建的数据转换为计算机可识别的代码；

(c)进行数据展示。

7.根据权利要求6所述基于spark技术的配电网海量数据的处理及分析方法，其特征在于，步骤(a)中，所述存储方式为RDD方式。

8.根据权利要求6所述基于spark技术的配电网海量数据的处理及分析方法，其特征在于，步骤(a)包括如下步骤：

(a)将原始数据集按照区域进行切分，分成不同的数据块；

(b)将不同的数据块存储于不同的集群节点内存中。

9.根据权利要求6所述基于spark技术的配电网海量数据的处理及分析方法，其特征在于，步骤(b)中，转换为计算机可识别的代码后，将计算机可识别的代码进行合并简化。

10.一种基于spark技术的配电网海量数据的处理及分析系统，其特征在于：包括数据存储模块、数据处理模块和数据展示模块，数据处理模块用于将配电网设备地理信息与拓扑信息提取、由半结构化数据转为结构化数据并进行数据构建，数据存储模块用于对数据进行存储，所述数据展示模块用于从数据存储模块提取数据并进行展示。