[发明专利]一种适用于太阳能光伏数据的数据清洗方法

说明书

本发明公开一种适用于太阳能光伏数据的数据清洗方法，包括三个步骤，分别为采集光伏数据、挖掘异常数据和清洗异常数据；本发明通过在相邻区域设置多组传感器采集太阳能光伏数据，得到多组强关联性数据；结合多组数据之间的关系、数据变化率，应用统计学原理挖掘所述光伏数据中的异常数据，并将异常数据分为冗余数据、缺省数据和错误数据三大类；清洗数据时，先删除冗余数据，再对单组传感器测得的错误数据通过SPGP数据重构法进行重构，再对整行错误数据和整行缺省数据通过基于三次样条插值法的数据重构法进行重构，能较好地对光伏数据中的异常数据进行补齐，最大化地利用了所有正常数据对异常数据进行清洗，数据误差极小，清洗效果好且效率较高。

技术领域

本发明属于数据清洗技术领域，具体是一种适用于太阳能光伏数据的数据清洗方法。

背景技术

近年，随着技术发展与人们对能源、环境问题的重视，可再生能源在整个能源消耗中 的占比正大幅提升。太阳能光伏等作为目前非常有竞争优势的可再生能源，除大规模集中 发电与无电地区离网系统应用外，其在城市与发达农村地区等得以分布式发电方式得以广 泛应用，将是未来电网不可或缺的重要组成。光伏数据往往贮存于分布式多源异构数据库 中，具有数据量大而且种类复杂等特征，数据质量时常由于测量设备的故障与不稳定性而 降低，产生大量异常数据或形成冗余，又或是在数据传输过程中出现丢包。数据质量的好 坏直接影响了后期根据数据进行的发电预测和能源调度。为了提高光伏发电预测的准确 性，优化光伏发电及绿色储能蓄能效率与电网的综合匹配，从而达到对分布式能源的充分 合理利用，光伏数据必须有良好的质量，数据清洗环节必不可少。

光伏数据自身极大的不稳定性和复杂性给数据清洗带来了巨大的困难。李郅明等对单 独的异常数据取邻近数据的中值纠错，对连续的异常数据进行人工纠错，方法比较简单， 可是人工纠错存在着较大的误差，面对大量异常时效率极低，且这种方式不适用于变化性 极强的光伏数据。李昌华等针对建筑节能气候数据清洗采用了K-means聚类算法与BP神 经网络相结合的算法，有效清洗率达到96.3％，可是该方法存在一定的局限性，不适用于 非集群类数据，且BP神经网络结构复杂，收敛速度慢，容易陷入局部极值而训练失败。沈小军等提出了四分位-变点分组法对风速及风功率数据进行清洗，虽然清洗效果好效率高，然而容易剔除变化率大的有效数据，对数据的利用率低且损失了很多有用数据。胡阳等针对风电运行数据提出了一种基于置信等效边界模型的方法判定异常数据，划分精细然而效率较低而且难以适用于其他场景，再由三次Hermite插值法重构缺失数据，重构的数据曲线仍然不够平滑。刘帅等则采用拉格朗日插值法，计算简便但是多项式的次数可能会很高，结果变化性极大易产生龙格现象。

发明内容

本发明的目的是针对现有技术存在的问题，提供一种适用于太阳能光伏数据的数据清 洗方法，解决现有的太阳能光伏有效数据利用率低，异常数据难识别，异常数据重构效率 低，重构效果不佳等问题。

为实现上述目的，本发明采用的技术方案是：

一种适用于太阳能光伏数据的数据清洗方法——强关联数据分类清洗法，包括以下步 骤：

S1，采集光伏数据，在相邻区域(相距不远的区域)设置多组传感器采集太阳能光伏 数据，得到多组变化趋势高度相似的强关联性数据，将不同组传感器在同一时间采集的数 据在数据库中按列进行排序，将同一组传感器在不同时间采集的数据在数据库中按行进行 排序；

S2，结合多组数据之间的关系、数据变化率，应用统计学原理挖掘所述光伏数据中的 异常数据，并将所述异常数据分为三类数据，分别为：冗余数据、缺省数据和错误数据；