[发明专利]一种基于spark技术的配电网海量数据的处理及分析方法

说明书

本发明公开了一种基于spark技术的配电网海量数据的处理及分析方法，包含以下步骤：配电网设备地理信息与拓扑信息文件解析研究；将配电网拓扑数据由半结构化数据转为结构化数据；配电网拓扑数据构建；基于spark技术对配电网拓扑数据进行分析合并，本发明主要针对配电网的半结构数据提出了一种基于spark技术的配电网海量数据的处理及分析方法，首先将配电网设备地理坐标与拓扑信息(CIM/XML)按照一定的方法进行提取，将提取出的转化为结构化数据，最后通过spark对配电网拓扑数据进行分析实现数据的快速处理。

技术领域

本发明涉及一种配电网海量数据的处理及分析方法，尤其涉及一种基于spark技术的配电网海量数据的处理及分析方法，属于电力信息技术领域。

背景技术

近年来随着计算机技术的发展和普及，信息呈现爆炸式的增长，整个网络产生了巨大的数据量。大数据时代的到来不仅使人们认识到了数据的重要性，同时也引发了诸多领域的根本变革。在电力行业，随着智能配电网的建设与发展及支撑其运行的各类智能化的数据采集、传输等系统的广泛应用，配电网的数据资源急速增长，数据呈现出体量大、来源广、类型多、增长快的特征，给数据的处理带来了一系列的压力。如何对配电网中的大量数据进行高效处理一直是人们所关注的重点。

近年来随着大数据技术的发展，大数据技术被越来越多的应用于不同行业中，在电力行业中配电网数据的处理一般需经过多个步骤，包括：格式转换、异常数据辨识、数据清洗等过程，大都需要消耗的大量的计算资源。如何利用大数据技术提升运算速度，助力配电网大数据释放所蕴藏的信息，一直是电力行业亟待解决的问题。

在原先的配电网系统中所导出的标准化电网拓扑CIM和SVG属于半结构化数据，外部系统平台和应用软件对于此类半结构化的数据解析存在较大难度，无法直接基于CIM和SVG完成如潮流计算、可靠性分析等其他应用分析。传统的CIM和SVG解析大多借助于DOM和SAX等各类专业解析器来分析电网的拓扑关系，存在效率低、无法应对大规模电网拓扑以及难以形成可供离线跨系统平台应用的结构化拓扑数据。

发明内容

发明目的：本发明的目的为提供一种科学合理、适用性强的基于spark技术的配电网海量数据的处理及分析方法。

技术方案：本发明的基于spark技术的配电网海量数据的处理及分析方法，包含以下步骤：

(1)对配电网设备地理信息与拓扑信息文件使用正则表达式进行信息提取及存储；

(2)将提取的信息由半结构化数据转为结构化数据；

(3)对结构化数据进行构建；

(4)基于spark技术对构建的数据进行存储并转换为计算机可识别的代码，进行数据展示。

具体步骤如下：

(1)从非结构化的SVG图像和半结构化的XML文件中提取配电网设备地理坐标与拓扑信息，信息提取方式如下；

(a)由于SVG和XML文件本质上是由一系列具有一定结构的字符串组成的通过观察文件中字符串的结构找出其中的格式规律，其格式如图1所示；

(b)确定需要从文件中提取的内容，将其余与提取内容无关的信息做简化，可使用正则表达式进行相关信息的提取，如本次实验以提取地理坐标为目的，可简化各类设备的描述信息将其抽象为“点”和“线”两种类型即可，将提取抽来的坐标信息存储结构化的表格中，可存储的信息如下：设备ID信息，设备类型，经纬度等信息；

(c)从CIM/XML文件中提取配电网拓扑信息，其格式如图3所示，拓扑关系分析方法如图4所示，可提取的信息包括：设备端点，连接点，设备的基本信息等信息。将提取抽来的坐标信息存储于结构化的表格中，可存储的信息如下：设备ID信息，所连接节点的编号，电压等级等信息。