[发明专利]一种基于改进鲁棒容积卡尔曼滤波的数据清洗方法

摘要

一种基于改进鲁棒容积卡尔曼滤波的数据清洗方法，属于数据处理技术领域。首先，整理原始量测数据，建立电力系统的动态模型。其次，建立容积卡尔曼滤波CKF基本方程，得到数据清洗要用到的前期准备数据。再次，对k+1时刻的电力系统量测装置采集到的原始量测数据zk+1进行不良数据辨识、修正过程；对k+1时刻的原始量测数据zk+1进行数据清洗。最后，计算得到下一时刻数据清洗的前期准备数据，并对下一时刻的电力系统量测数据进行清洗，得到数据清洗值的集合。本发明考虑量测数据之间的相关性，通过将突变数据辨识过程与数据相关性强弱程度辨识过程进行结合，对波动型数据和不良数据进行区分，并通过修正因子对不良数据完成清洗，提高数据清洗准确性。

主权项

1.一种基于改进鲁棒容积卡尔曼滤波的数据清洗方法，其特征在于，包括以下步骤：步骤1：在某一时刻时，通过电力系统量测装置采集得到原始数据组成的向量为z，设定需要数据清洗的时刻个数为N，得到需要清洗的总数据集合为{z₁，z₂，z₃，…，z_N}；以k代表时刻，利用k时刻的数据对k+1时刻进行预测，进而对k+1时刻的数据z_k+1进行清洗；步骤2：建立电力系统的动态模型，得到电力系统动态方程和量测方程；步骤3：设定起始时刻k＝1，则k+1＝2，表示利用第1个时刻的前期准备数据，对第2个时刻的数据z₂进行清洗；步骤4：建立容积卡尔曼滤波CKF基本方程，并基于CKF基本方程，得到数据清洗要用到的前期准备数据；首先计算方程(3)～(7)得到电力系统的状态量在k+1时刻的预测值再计算方程(8)～(12)得到电力系统的量测数据在k+1时刻的预测值然后计算方程(13)得到电力系统量测数据的预测误差方差阵P_vv,k+1；最后计算方程(14)，将k+1时刻量测装置采集的量测数据z_k+1减去预测值得到量测新息向量e_k+1；所述的CKF主要包括预测和滤波两个基本过程：1)预测S_k|k＝chol(P_k|k)                        (3)式中：chol(·)表示Cholesky分解；P_k|k为k时刻状态估计误差方差阵；S_k|k为对P_k|k进行Cholesky分解得到的上三角矩阵；n为电力系统节点个数；I为n阶单位矩阵；ξ为根据Cubature准则生成的等权值矩阵；ξ_i表示矩阵ξ的第i列；为k时刻状态估计值；X_i,k|k为的Cubature点；为X_i,k|k的预测值；为状态预测值；Q_k为k时刻的过程噪声方差阵；P_k+1|k为状态预测误差方差阵；2)滤波S_k+1|k＝chol(P_k+1|k)                       (9)Z_i,k+1|k＝h(X_i,k+1|k)                       (11)P_zz,k+1＝P_vv,k+1+R_k+1                     (15)式中：S_k+1|k为对P_k+1|k进行Cholesky分解得到的上三角矩阵；X_i,k+1|k为的Cubature点；Z_i,k+1|k为量测预测值的Cubature点；为量测预测值；P_vv,k+1为量测预测误差方差阵；e_k+1为新息向量；R_k+1是量测噪声方差阵；P_zz,k+1为量测总方差；P_xz,k+1为状态量与量测量的协方差阵；W_k+1为滤波系数；为k+1时刻的电力系统状态估计值；P_k+1|k+1为k+1时刻状态估计误差方差阵；步骤5：对k+1时刻的电力系统量测装置采集到的原始量测数据z_k+1进行不良数据辨识、修正过程；首先计算方程(20)～(27)，得到数据修正因子对角阵γ’_k+1；若γ’_k+1的对角元素等于1，表示该数据是正确数据，该数据对应的量测装置运行正常；若γ’_k+1对角元素大于1，表示该数据是不良数据，量测装置数据传输异常或者量测装置失效；将γ’_k+1代入方程(28)，计算得到修正后的电力系统量测总方差阵P_zz,k+1；所述的不良数据辨识、修正过程如下：5.1)在保证k+1时刻前的数据已不含不良数据的前提下，选取时间序列滑动窗口长度为T，将k+2‑T时刻到k+1时刻的新息向量构成时间序列[e_k‑T+2,e_k‑T+3,...,e_k+1]，计算窗口内的平均新息协方差：式中：P_e,k+1为平均新息协方差；T为时间序列滑动窗口长度；t代表时间序列的第t个向量，0≤t≤T，且t为整数；e_k+2‑t为k+2‑t时刻的新息向量；当量测量突变时，由于e_k+1增大，必然使得平均新息协方差大于式(14)的观测噪声，即：P_e,k+1＞P_vv,k+1+R_k+1              (21)式中：P_vv,k+1为量测预测误差方差阵；R_k+1是量测噪声方差阵；构造修正因子γ_k+1实现突变数据的辨识；γ_k+1可对R_k+1进行调整，其取值原则是使得上式左右两端相等，求解得：则当可疑的突变量测量存在时，γ_k+1中的相应对角元素必将大于1；因此，取γ_k+1中大于1的对角元素对应的量测量，形成可疑数据集合D₁；D₁中的可疑数据即为突变数据，实际包含正确的波动型数据和错误的不良数据；5.2)选取时间序列滑窗长度为T，将k+2‑T时刻到k+1时刻的量测向量构成量测量时间序列[z_k+2‑T,z_k+3‑T,...,z_k+1]，计算皮尔逊相关系数形成m阶相关矩阵，其对角元素为1，非对角元素计算如下：其中：式中：z_k+2‑t为k+2‑t时刻量测装置采集到的量测数据；为量测数据的平均值；r_ij为各量测量间的相关系数；r_ij代表第i个量测量与第j个量测量的相关性强弱；计算第i个量测量与其他所有量测量的平均相关系数式中：m为量测数据个数，亦为相关矩阵阶数；为辨识可疑的不良数据，采用“末位淘汰”方法，选取与其他量相关性最弱的量测量形成可疑数据集合D₂；采用定D₂元素个数的方法，其元素个数d₂的选取参考D₁的元素个数d₁，则可取d₂＝αd₁，α为可疑集长度参考倍数，可根据实际系统选取；5.3)在得到上述可疑数据集合D₁和D₂之后，取二者交集得到不良数据集B＝D₁∩D₂，则B中的量测量才是真正的不良数据，其同时满足量测量发生突变和与整体量测数据相关性最弱两个条件；而B在D₁中的补集C_D1B实质为因新能源出力波动而产生的波动型数据，是正确的量测数据；利用γ_k+1对不良数据进行修正；由于γ_k+1为非对角阵，为避免矩阵求逆运算发生奇异定义修正因子对角阵γ’_k+1，其对角元素取值为：对式(15)进行如下修改以完成不良数据修正：P_zz,k+1＝P_vv,k+1+γ'_k+1R_k+1                  (28)步骤6：对k+1时刻的原始量测数据z_k+1进行数据清洗；首先计算方程(16)～(18)，完成k+1时刻的电力系统状态估计过程，得到k+1时刻的状态估计值然后将代入方程(2)的量测函数，得到k+1时刻电力系统量测数据的清洗值步骤7：计算方程(19)，得到k+1时刻状态估计误差方差阵P_k+1|k+1，以用作下一时刻数据清洗的前期准备数据；判断k的大小，若k≤N‑1，则使k＝k+1，循环步骤4至步骤6，开始对下一时刻的电力系统量测数据进行清洗；若k>N‑1，则数据清洗过程结束，得到数据清洗值的集合