[发明专利]基于MapReduce框架的分区最大负荷预测方法

说明书

本发明涉及一种基于MapReduce框架的分区最大负荷预测方法，包括以下步骤：步骤a:搭建大数据分析平台；步骤b:对原始数据进行数据预处理；步骤c:采用交叉点判别法判断配电所在区域；步骤d:求取台区公变与台区专变在一年中的最大负荷；步骤e:采用线性回归模型对台区公变与台区专变的最大负荷分别进行预测，台区最大负荷即为两个预测值之和。本发明采用线性回归模型对台区公变和台区专变的最大负荷分别进行预测，并以此为数据基础进行最大负荷预测，为配电网管理、规划提供数据支持，对配电网安全经济运行具有重要意义。

技术领域

本发明涉及的是采用计算机技术对于配电网大数据进行处理，属于配电网大数据挖掘与分析领域。

背景技术

随着国家电网公司建设坚强电网战略目标的提出，智能用电终端和采集终端数量日益扩大，使得各种类型的电力自动化数据出现几何级的增长，呈现出“体量大”、“类型多”、“密度低”和“增速快”的典型大数据特征。在配电网的管理与规划过程中，电力负荷统计指标、电压分析统计指标等一系列数据可以为配电网发策部门提供电力系统规划、设计、调度提供决策的依据。国内已有传统电力系统信息平台的建设大多采用价格昂贵的大型服务器，存储采用磁盘阵列，数据库采用关系数据库系统，业务应用采用紧密耦合的套装软件，导致系统扩展性较差、成本较高，难以适应智能电网对状态监测数据可靠性和实时性的更高要求。2006年Hadoop分布式计算平台发布，2009年，伯克利大学提出和发展了Spark计算平台，在Hadoop分布式计算的基础上，引入了内存计算，使数据计算速度得到10倍乃至100倍的提升。Hadoop大数据处理框架可以很好的解决数据量剧增带来的瓶颈，且具备良好的可靠性和可扩展性、数据处理量大、实时性高、成本低廉等优势。HDFS(HadoopDistribute File System)是Hadoop上的分布式文件系统。HDFS有着高容错性的特点，采master/slave结构，并且用来设计部署在廉价的硬件上。它提供高吞吐量来访问数据，适合那些大量数据的应用程序。

国内外将大数据技术运用于配电网数据分析的实例并不罕见，但并未有按照供电单元对配电网数据进行分类规划统计，提供与用户有直接关联的台区负荷统计分析指标展示服务的先例。

发明内容

本发明要解决的技术问题是：提出一种基于MapReduce框架的分区最大负荷预测方法，为供电公司提供负荷预警服务。

本发明解决其技术问题所采用的技术方案是：一种基于MapReduce框架的分区最大负荷预测方法，包括以下步骤：

步骤a:搭建大数据分析平台；

步骤b:对原始数据进行数据预处理；

步骤c:采用交叉点判别法判断配电所在区域；

步骤d:求取台区公变与台区专变在一年中的最大负荷；

步骤e:采用线性回归模型对台区公变与台区专变的最大负荷分别进行预测，台区最大负荷即为两个预测值之和。

步骤a中的大数据分析平台搭建具体如下：

1)采用Linux Ubuntu作为操作系统；

2)将原始数据存储于Hadoop平台提供的分布式文件系统HDFS，实现数据集的离散化存储和查询；

3)数据建表采用Hadoop提供的Hive组件；

4)以Apache Hadoop为开发工具，对计算任务进行调度，完成HQL语句与集群上的MapReduce作业的转换；

5)分布式计算层采用Apache Spark，将数据以弹性分布式数据集的形式进行并行化操作。

步骤b中的对数据预处理包括：

1)空数据采用拉格朗日插值定理补全；