[发明专利]一种基于约束优化的缺失能耗数据填补方法

说明书

本发明属于电力能源数据技术领域，具体是一种基于约束优化的缺失能耗数据填补方法。本发明利用KNN的思想，使用DTW作为相似性度量，在不等长时间序列集中，提取前K条与存在缺失数据时间序列相似的曲线；然后，通过最小化缺失区间填补值与K条相似曲线的欧式距离，同时以填补值总和等于固定值为约束，将问题转化为连续等式约束优化问题；最终通过拉个朗日乘数法求解，完成填补。本发明可有效填补缺失能耗数据，减少数据盲区，为决策人员提供有效的数据参考；填补的缺失能耗数据满足区间总和固定的约束，使填补数据更加精确合理。

技术领域

本发明属于电力能源数据技术领域，具体涉及缺失能耗数据填补方法。

背景技术

目前,在电力系统中需要采集、传输的数据量非常庞大。由于以下几个原因，造成了能耗数据的缺失：1)网络中断造成数据中断；2)设备损坏以及维修期间造成能耗数据缺失；3)更换智能表具、更换数据采集器造成的异常数据被剔除；4)变更电力线路拓扑结构造成的异常数据被剔除。为了减少数据盲区，为节能决策提供更多数据参考，需要对这些缺失能耗数进行填补，尽量恢复能耗趋势。对传感器采集的存在缺失的数据进行填补的方法主要有均值插补、线性插补、基于K近邻插补和数值填补方面的方法等。数值填补主要有拉格朗日插值和三次样条插值。随着深度学习的兴起，神经网络算法也被运用到缺失数据填补中。缺失数据的填补方法多种多样，应该根据实际缺失场景进行选择。

由于各节能平台在数据存储模块存储数据的方式的不同，关于某个时间段内的能耗值的计算主要分为两种方法：1)单位能耗值累加。将采集上来的电表数据按照最小时间粒度预先处理好，在数据库中存储每个测量点单位时间内的能耗值，当需要统计某段时间内的能耗时，将这段时间内的单位时间能耗值累加。2)电表读数相减。数据库中存储每个电表各个时间点的读数，这些值随着时间的递增而递增。当需要统计某段时间内的能耗时，将结束时间点的电表读数减去起始时间点电表读数，从而得到该时间段的能耗。当采用第二种计算方法时，当发生能耗数据缺失时，缺失区间内的能耗总和是已知的，而目前现存的方法中并没有考虑这个约束。

发明内容

为了有效地填补缺失能耗数据，并且满足区间能耗总和固定的约束，本发明提出一种基于约束优化的缺失能耗数据填补方法。

本发明提出的基于约束优化的缺失能耗数据填补方法，利用KNN(K最近邻，CoverT M,Hart P E.Nearest Neighbor Pattern Classification[J].IEEE Transactions onInformation Theory,1967,13(1):21-27.)的思想；使用动态时间规整(DTW)作为相似性度量，在不等长时间序列集中，提取前K条与存在缺失数据时间序列相似的曲线；然后，通过最小化缺失区间填补值与K条相似曲线的欧式距离，同时以填补值总和等于固定值为约束，将问题转化为连续等式约束优化问题；最终通过拉个朗日乘数法求解，完成填补。

填补算法的具体步骤如下(参见图4所示)。

第一步，提取K个相似时间序列。采用DTW时间序列相似性度量，计算出与缺失时间序列前一周和后一周，最相似的K个时间序列，时间粒度为小时，即每小时一个数据点。由于在计算相似性时，前一周和后一周同样可能存在缺失数据，导致时间序列不等长，因此选择DTW时间序列相似性度量，避免对噪声数据敏感。

第二步，计算数据点占区间总和比例。计算K个时间序列中，每个序列缺失区间所对应的各个数据点，占区间能耗总和的比例。用x_kn表示第k个时间序列，缺失区间第n个数据点占区间能耗总和的比例。

第三步，将问题转化为等式约束优化问题。用x_mn表示缺失时间序列缺失区间中，第n个待求的缺失数据点占区间数据总和的比例。通过最小化缺失时间序列中，各个缺失数据点比例与K个时间序列对应的数据点比例的欧式距离，同时满足缺失数据点比例总和为1，来求得N个待求的缺失数据点占区间能耗总和的比例，具体表达式如下所示：

最小化问题：