[发明专利]一种基于云平台的局部加权线性回归预测运算的方法

说明书

技术领域

本发明涉及云平台领域，特别涉及一种基于云平台的局部加权线性回归预测运算的方法。

背景技术

在调查研究的基础上，对事物的未来进行科学的分析，研究其发展变化的规律性叫做预测分析。实际生活中，某些现象的发展和变化取决于若干因素的影响。基于这些影响因素的主次关系与变化规律等要素，将其进行统计、分析和运算从而通过数学方法进行的实际预测，常用的方式就包括有线性回归算法。

局部加权线性回归算法，简称LWLR算法，就是应用在预测分析中一种常见的算法。该算法的主要思想是先去一定数量的局部数据，然后再通过这部分局部数据集中拟合多项式回归曲线，由此观察得到数据在局部表现出来的规律和趋势。不过该算法运算量非常巨大，特别是所运算的局部数据数目庞大的时候，单机计算的时间可能达到几天甚至更长。

随着智能电网技术的建设和发展，LWLR算法也多在其中发挥作用。智能电网旨在改造原有电网各环节，而实现更加环保、高效的现代化电力系统。同时，智能电网的建设中，数据量也发生爆炸式的增长。传统的单机计算实现LWLR算法的缺陷就在于，它对海量数据的处理能力已经远不能满足智能电网中的实际需要。

发明内容

有鉴于此，本发明主要目的是提供一种基于云平台的局部加权线性回归预测运算的方法，来解决大量数据运算过程中执行效率降低的问题。

本发明所述方法，具体技术方案如下：

一种基于云平台的局部加权线性回归预测运算的方法，其特征在于，所述方法将局部加权线性回归预测运算构建在映射简化计算框架之下，该方法包括以下步骤：

确定带预测点，映射简化计算框架将待运算的数据点划分到多个节点储存在云平台上；

各节点同时开始对划分到本节点上的待运算数据点进行运算，采用临近算法计算数据点与待测点的距离，找到带运算数据点中距离符合第一阈值的数据点，第一阈值的范围预先设定；

将每个节点上找到的符合第一阈值的数据点集中，并对数据点中数据进行加权处理，利用加权处理后的数据值计算出回归系数，代入到回归方程，计算出的回归方程的解即为预测值。

所述映射简化计算框架将带运算数据点划分到节点具体为：

映射计算框架估算数据总量以及算法对系统内存的消耗量，计算出需划分节点的个数。

优选的，所述将每个节点上找到的符合第一阈值的数据点集中进一步包括：

将所有符合第一阈值的数据点集中以后，再从中进一步筛选出符合第二阈值的数据点，第二阈值的范围预先设定。

所述对数据点进行加权处理具体为：

利用混合高斯模型计算各数据点的权重。

其特征在于，所述计算数据点与待测点的距离具体为：

将数据点与待测点数据分成用户ID、时间、温度和天气四个维度，分别计算数据点与待测点四个维度的距离，在计算四个维度距离的和，即为数据点与待测点的距离。

所述对用户ID信息数据距离的计算具体为：

数据点与待测点相同ID信息距离为0，不同ID信息距离为无穷大。

所述对时间信息数据距离的计算具体为：

以预定时长为单位的时间数据，制定周期环形模式计算距离，取数据点与待测点时间数据在周期环上最近的距离。

所述预定时长为月、星期、日或小时，并设定月周期环周长为30，星期周期环周长为7，日周期环周长为24，小时周期环周长为60。

所述对时间温度数据距离的计算具体为：

数据点与待测点温度数值间差值即为数据距离。

所述对天气信息数据距离的计算具体为：

将天气信息划分为有雨和无雨两种情况，设定有雨距离为1，无雨距离为0。

通过以上技术方案可知，本发明存在的有益效果为，通过映射简化计算框架将大量数据分成若干节点同时进行局部加权线性回归预测运算，从而成倍数缩短了计算时间，实现了高效处理海量数据，满足了目前阶段业务需要。

附图说明

图1：局部加权线性回归预测运算主要步骤流程图。

图2：MapReduce计算框架之下局部加权线性回归预测运算的方法具体实施例流程图。

具体实施方式

本发明提供一种基于云平台的局部加权线性回归预测运算的方法，即基于云平台实现LWLR预测算法的方法。通过将LWLR算法构建在云平台的映射计算框架中，利用映射简化计算框架将海量数据划分节点并行运算，从而提高效率。映射简化计算框架即MapReduce计算框架。