[发明专利]一种适用于太阳能光伏数据的数据清洗方法

权利要求书

1.一种适用于太阳能光伏数据的数据清洗方法，其特征在于，包括以下步骤：

S1，采集光伏数据，在相邻区域设置多组传感器采集太阳能光伏数据，得到多组强关联性数据，将不同组传感器在同一时间采集的数据在数据库中按列进行排序，将同一组传感器在不同时间采集的数据在数据库中按行进行排序；

S2，挖掘所述光伏数据中的异常数据，并将所述异常数据分为三类数据，分别为：冗余数据、缺省数据和错误数据；

S3，清洗异常数据，首先，删除异常数据中的冗余数据；然后，对单组传感器测得的错误数据采用SPGP数据重构法进行数据重构；最后，对数据库中整行错误数据和缺省数据采用基于三次样条插值法的数据重构法进行数据重构。

2.根据权利要求1所述的一种适用于太阳能光伏数据的数据清洗方法，其特征在于，步骤S1中，所述传感器包括光照度传感器、光功率传感器，所述光伏数据包括光照强度、光功率。

3.根据权利要求1所述的一种适用于太阳能光伏数据的数据清洗方法，其特征在于，步骤S2中，所述异常数据的分类依据为：

冗余数据：判断多组传感器采集光伏数据的时间值是否一致，时间值不一致的光伏数据即为冗余数据；

缺省数据：计算多组数据的平均测量时间间隔t，判断每行数据的测量时间与相邻行数据的测量时间的差值是否超过2t，若超过2t，则该行数据为缺省数据；

错误数据：分别计算各组数据随时间的变化率，判断每列数据的变化率是否大于前列数据变化率的1.25倍，若是，则进一步判断该列数据是否超出正常数据范围，若两个判断条件均满足，则该列数据为错误数据。

4.根据权利要求3所述的一种适用于太阳能光伏数据的数据清洗方法，其特征在于，所述正常数据范围的定义为：

μ-2σ≤x≤μ+2σ

其中，x为正常数据，μ为所有数据的平均值，σ为所有数据的标准差。

5.根据权利要求1所述的一种适用于太阳能光伏数据的数据清洗方法，其特征在于，步骤S3中，对单组传感器测得的错误数据采用SPGP数据重构法进行数据重构的方法为：

令X，Y分别为两组传感器测同一物理量得到的不同数据值序列，X序列中只有一个错误数据，设该错误数据值为变量x；Y序列中所有数据均为正常数据值；当X、Y两组数据的关联性最强时，错误数据x＝x₀，x₀即为错误数据x的重构数据；计算X、Y两组数据的皮尔逊相关系数ρ_X,Y，即

公式(1)对x求偏导，代入X、Y中的正常光伏数据，令偏导值为0，有

联立公式(1)、(2)解出重构数据值x₀；即，当x＝x₀时，X、Y两组数据的关联性最强，x₀即为错误数据x重构后的数据值。

6.根据权利要求1所述的一种适用于太阳能光伏数据的数据清洗方法，其特征在于，步骤S3中，所述基于三次样条插值法的数据重构法具体为：

提取所有数据中表现正常的N个数据值作为f(x)，将所述N个数据对应的时间序列设为区间x＝[x₀,x_N]；将区间x划分为N个等步长的子区间；设在每个子区间j＝(0,1,...,N-1)内均满足三次多项式S_j(x)，有

S_j(x)＝a_j0+a_j1x+a_j2x²+a_j3x³，

j＝0,1,...,N-1 (3)

令S(x_j)＝f(x_j),j＝(0,1,...,N) (4)

为保证各子区间的曲线合并为大区间时节点处光滑，令

S(x_j-0)＝S(x_j+0),j＝(0,1,...,N) (5)

S'(x_j-0)＝S'(x_j+0),j＝(1,2,...,N-1) (6)

S”(x_j-0)＝S”(x_j+0),j＝(1,2,...,N-1) (7)

令S(x_j)＝f(x_j)＝y_j (8)

h_j＝x_j-x_j-1 (9)

S″(x_j)＝M_jj＝(0,1,...,N) (10)

根据拉格朗日插值公式，有

根据公式(3)～(11)，可得

令

则公式(11)可表示为

α_jM_j-1+2M_j+β_jM_j+1＝c_jj＝(1,2,…,N-1) (13)

根据光伏数据的正态分布特性，数据两端的曲线处于水平状态，有S_j(x)满足第一类边界条件，有

S'(x₁)＝S'(x_N)＝0 (14)

联立公式(13)、(14)得到关于M_j的N+1阶线性方程组，其矩阵形式为三对角线方程组，即

代入所有表现正常的光伏数据到公式(15)中，采用追赶法解出M_j，从而得到各子区间的三次多项式；再将检测到的单组错误数据代入该错误数据对应子区间的三次多项式，得到该错误数据重构后的数据值。