[发明专利]在线数据填补方法

说明书

本发明公开了一种在线数据填补方法。包括：根据历史数据使用标准化等相应的数据挖掘流程构建机器学习模型；通过分析统计历史预测填补缺失值序列和真实样本序列的误差找到填补缺失值序列和其对应的真实值序列的误差分布；针对数据缺失的A、B两个阶段分别处理，于A阶段，使用基于历史数据构建好的机器学习模型线上实时持续预测填补；于B阶段，对填补数据仿真，通过历史的误差分布来分配填补值和真实值的总差值还原到填补缺失值序列上，修正填补缺失值序列，修正后的填补缺失值序列将用于原机器学习模型的更新。该在线数据填补方法解决了现有数据填补方法响应速度慢、无法满足为实现短期调整的时效性问题。

技术领域

本发明涉及一种数据填补方法，尤其涉及一种基于机器学习模型在线预测、数据平滑、历史误差分布统计等的在线数据填补方法。

背景技术

近些年来基于数据的优化控制、调度、决策、故障诊断等，都基于完整的数据这样的前提。由于信号不稳定等原因而导致在工业数据序列中数据采集缺失的问题，很多厂家采用对序列的所有缺失值和后继的真实值求和，把求和值作为上报值，针对这种情况，对缺失数据进行填补。目前存在的数据填补方法，无论是基于均值缺失值等统计的方法，还是使用机器学习模型来预测缺失值的填补方法，都难以在短时间内解决相应数据缺失的问题，也难以在短时间内满足优化控制、调度、决策、故障诊断方法的时效性要求，并且难以满足填补误差较小的要求等。

发明内容

本发明的目的是针对上述现有技术存在的不足，提供了一种在线数据填补方法。本发明在线数据填补方法解决了现有数据填补方法响应速度慢、无法满足为实现短期调整的时效性、精度的问题。

本发明在线数据填补方法的技术方案包括：

根据历史数据使用标准化等相应的数据挖掘流程构建机器学习模型；

通过分析统计历史预测填补缺失值序列和真实样本序列的误差找到填补缺失值序列和其对应的真实值序列的误差分布；

针对数据缺失的A、B两个阶段分别处理，于A阶段，使用基于历史数据构建好的机器学习模型线上实时持续预测填补；于B阶段，对填补数据仿真，通过历史的误差分布来分配填补值和真实值的总差值还原到填补缺失值序列上，修正填补缺失值序列，修正后的填补缺失值序列将用于原机器学习模型的更新。

所述A阶段包括;某段数据缺失产生过程中，所述B阶段包括：某段数据缺失停止产生后。

本发明有益的技术效果：

本发明在线数据填补方法其包括通过针对数据缺失的A、B两个阶段分别处理等特有的技术手段，尤其是针对数据缺失停止产生时（即B阶段）对填补数据仿真的改进处理方式，获得数据填补的快速响应，能够实现在不损失预测精度的前提下提高填补速度，降低了因数据缺失导致对后续的短期预测和实时平衡调度的影响，具有更强的缺失数据的可填补性，从根本上增强和改善了缺失数据填补性能和效果，并减少人工介入。

附图说明

图1为本发明一实施例流程图;图2为本发明一实施例的在线学习过程流程图；图3为本发明的填补值序列图。

具体实施方式

为更好的理解本发明，现通过实施例结合附图对本发明的技术方案进行清楚、完整地说明。

本发明数据填补方法包括采取针对数据缺失的A、B两个阶段分别处理的方式。

其根据历史数据使用相应（如标准化等）的数据挖掘流程构建机器学习模型；

通过分析统计历史预测填补缺失值序列和真实样本序列的误差找到填补缺失值序列和其对应的真实值序列的误差分布；

针对数据缺失产生过程中（A阶段）处理，判断是否处于A阶段，若是，则使用基于历史数据构建好的机器学习模型线上实时持续预测填补；