[发明专利]一种高比例缺失数据填补方法及相关装置

说明书

本申请公开了一种高比例缺失数据填补方法及相关装置，方法包括：计算预处理操作后的目标缺失数据的缺失率，预处理操作包括归一化处理和缺失位标记操作；根据缺失率在预置误差列表中查找目标评价指标对应的最优缺失数据填补方法，预置误差列表中不同梯级的历史缺失率、目标评价指标和最优缺失数据填补方法之间存在一一对应关系；根据最优缺失数据填补方法生成目标填补数据，并采用目标填补数据填补目标缺失数据。本申请能够解决现有技术对缺失较严重的数据缺乏有效性的填补方案，导致填补效果较差的技术问题。

技术领域

本申请涉及缺失数据填补技术领域，尤其涉及一种高比例缺失数据填补方法及相关装置。

背景技术

在大多数涉及依托采集数据进行分析的科学研究中，缺失数据的存在是一个普遍的现象。电力数据也不例外，往往由于各种原因，会导致采集的电力数据存在缺失的情况。例如，设备故障和信号传输错误等会导致丢失一个或几个时刻的数据，有时甚至可能丢失一天或者几天的数据。电力系统的很多运管工作是依托历史数据进行的，为了提高数据的后续分析处理效率，对电力数据的准确填补工作显得尤为重要。

在电力缺失数据的填补中，对于缺失率较低的情况，通常可以使用删除法和回归插补法；相比于删除法，回归插补法保留了预期的数据量。回归插补法采用均值处理会忽视数据的趋势与分散特征；此外每个丢失的数据模式都需要唯一的回归方程，因此多个丢失的数据模式的存在会使插补过程复杂化。但是，回归插补类方法未考虑推定值的不确定性，并且无法对多变量数据缺失的情况进行插补；且在数据缺失较严重的情况下，其结果会有较大偏差。从统计领域的原理出发提出的热卡插补、冷卡插补、多重插补等方法，则需要用已有的数据替代缺失数据，对于较大缺失数据的填补效果仍然较差。

发明内容

本申请提供了一种高比例缺失数据填补方法及相关装置，用于解决现有技术对缺失较严重的数据缺乏有效性的填补方案，导致填补效果较差的技术问题。

有鉴于此，本申请第一方面提供了一种高比例缺失数据填补方法，包括：

计算预处理操作后的目标缺失数据的缺失率，所述预处理操作包括归一化处理和缺失位标记操作；

根据所述缺失率在预置误差列表中查找目标评价指标对应的最优缺失数据填补方法，所述预置误差列表中不同梯级的历史缺失率、所述目标评价指标和所述最优缺失数据填补方法之间存在一一对应关系；

根据所述最优缺失数据填补方法生成目标填补数据，并采用所述目标填补数据填补所述目标缺失数据。

优选地，所述预置误差列表的构建过程为：

通过在无缺失历史数据中添加预置扰动得到历史缺失数据集，所述历史缺失数据集包括多个历史缺失数据片段；

在对所述历史缺失数据片段作所述预处理操作后，通过预置窗口在所述历史缺失数据片段中提取目标历史缺失数据；

计算所述目标历史缺失数据的历史缺失率，并将所述历史缺失率进行升序式梯级划分；

计算不同的缺失数据填补方法在不同梯级的历史缺失率和不同评价指标下对应的误差值，得到预置误差列表，所述预置误差列表中每个梯级的历史缺失率对应的每个评价指标均存在一个误差值最小的最优缺失数据填补方法。

优选地，所述根据所述最优缺失数据填补方法生成目标填补数据，并采用所述目标填补数据填补所述目标缺失数据，还包括：

计算所述目标填补数据在所述目标评价指标下的当前误差值；

若所述当前误差值超过所述最优缺失数据填补方法对应的误差值，则更新所述预置误差列表。

优选地，所述若所述当前误差值超过所述最优缺失数据填补方法对应的误差值，则更新所述预置误差列表，还包括：

若所述预置误差列表的时限超过预设时间，则更新所述预置误差列表。