[发明专利]基于局部加权回归的室内空气数据预处理方法

说明书

技术领域

本算法能对随时间变化的空气参数(温度，湿度，甲醛浓度，PM2.5浓度，二氧化碳浓度等)中的数据空缺进行填补，并可以对数据中的异常跳变值进行去除，以及可以对数据进行零点偏移的修正。属于特定数据预处理的领域。具体讲,涉及基于局部加权回归的室内空气数据预处理方法。

背景技术

目前对数据进行预处理的技术方法难易皆具，然而简单的预处理方法难以做到有效，而有效的预处理方法往往比较复杂[1]。本技术预处理的数据对象是室内空气数据：第一，这种数据具有整体上随时间缓慢变动但是每时每刻都有着不同程度的随机噪声的特点(如图1)；第二，由于硬件系统具有数据空缺报警功能，故可以确保数据空缺的时长很短；第三，已经具有了修正零点偏移的标定曲线。所以相比于对数据空缺进行填补和零点偏移，本技术的核心是对数据中的跳变异常值进行去除，并且能够保证与人行为变化相关的数据大幅度变动不被识别成异常值被剔除。

在对数据异常值进行剔除的方法中，最常见的是对数据直接使用C4.5决策树进行分类判定[2]，但是该算法易将因为人行为变化导致的数据大幅度变动值和异常跳变值一并被分类成异常值；其次CD(Curve Description)法也被用于对异常值的分类[3]，此方法以相邻的数值的变化量和变化率为阈值进行判定，然而对于本专利要解决的问题而言，它和决策树法有着相似的缺陷，而且在程序实现上也比决策树法复杂；国外也使用噪声数据过滤法(Filters)识别并剔除异常值，比较典型的是Ensemble Filter(EF)[4]和Iterative-Partitioning Filter(IPF)[5]，这两种方法都比较有名，但是都比较复杂，得对其额外设置多个参数[1]，这对本技术所面对的问题是没有必要的。

发明内容

为克服现有技术的不足，本发明旨在用简单但有效的方法对室内空气随时间变化的数据进行预处理，包括短时长数据空缺的填补，数据异常跳变值的去除，与此同时保证与人行为变化相关的数据大幅度变动不被识别成异常值，最后进行零点偏移的矫正。本发明采用的技术方案是，基于局部加权回归的室内空气数据预处理方法，首先进行短时长数据空缺的填补，要确保整个数据不存在空缺的0值，然后再进行数据异常跳变值的去除，在保证不再存在针状的数据跳变点时，再进行零点偏移的矫正，即将处理好的数据代入到标定曲线中。

进行数据异常跳变值的去除具体步骤是，使用拟合曲线将有意义的信息拟合出来，并且同时不拟合针状数据跳变和所有的高频噪声，具体选用局部加权回归(Local Weight Regression)进行有用信息的拟合，再用原数据曲线减去拟合曲线得到噪声曲线，解决有用信息对跳变值去除的干扰。

局部加权回归原理具体步骤是，先用一定数目的横轴上的参考点将整个数据等分开来，并以这些点为中心分别求算线局部性回归，在使用最小二乘法求解回归参数时，离中心点越远的数据点所占的权数越小，最后得到这些点的回归数值，然后用插值将这些回归数值点相连，这里使用线性插值即可；

进一步地，对每一个训练数据点，都要使得：

∑_iw⁽ⁱ⁾(y⁽ⁱ⁾-θ^Tx⁽ⁱ⁾)² (1)

最小；

其中i是训练数据的个数角标；x指时间轴的时间值；y是目标值；θ是回归方程的系数向量，使用二次回归，故θ是个三维向量；w是高斯权数，表示成：

其中没有上角标的x指的是选定的横轴上的参考点，τ是带宽(bandwidth)，τ越大，局部回归的强度越大；

局部加权回归在每个残差平方项之前多一个高斯权，对每个参考点都要求得二次的回归曲线，且曲线参数一定是不同的，对任一个参考点x，都有：

θ＝(X^TWX)^-1X^TWy(3)

其中，X是由1，x⁽ⁱ⁾，(x⁽ⁱ⁾)²组成的m维矩阵，称之为设计矩阵(design matrix)m即训练数据数量，X写作：