[发明专利]面向强化学习的检测防御异常数据方法和装置

权利要求书

1.一种面向强化学习的检测防御异常数据方法，其特征在于，包括以下步骤：

S1、采集场景a下小车正常驾驶状态作为样本数据，对样本数据采用PCA降维处理，得到前n个特征值的累计贡献率α以及相应的变换矩阵P；

S2、基于DDPG算法建立场景a下自动驾驶训练模型，预训练场景a下自动驾驶训练模型，将状态转换过程存入经验回放缓冲区D，所述的场景a下自动驾驶训练模型包括主网络、目标网络和经验回放缓冲区D；

S3、采集场景a下自动驾驶训练模型训练过程中的状态s_t，利用变换矩阵P对状态s_t进行降维处理，计算前n个特征值的累计贡献率α’；

S4、若||α-α’||≥∈，则判定s_t异常，向对应的奖励值r_t增加惩罚项并将更新后的状态转换过程存储在经验回放缓冲区D中，所述的ξ的取值范围为ξ＜0；

S5、根据更新后的奖励值计算损失函数，利用损失函数更新主网络的参数。

2.根据权利要求1所述的面向强化学习的检测防御异常数据方法，其特征在于，采集场景a下小车正常驾驶状态作为样本数据，对样本数据采用PCA降维处理，得到前n个特征值的累计贡献率α以及相应的变换矩阵P，具体如下：

S11、从训练数据存储区中采集场景a下T个时刻的小车正常驾驶状态数据x_s组成矩阵X序列作为样本数据；

S12、根据式(1)对每个小车正常驾驶状态数据x_s进行标准化处理得到

其中，为y_s中第i行第j列的数据，为x_s中第i行第j列的数据，μ_i为第i行数据的均值，σ_j为第j行数据的标准差；

S13、根据式(2)计算协方差矩阵S，

其中，是y_s矩阵中第i行数据，是y_s矩阵中第i行数据的转置；

S14、计算协方差矩阵S的特征值λ_k(k＝1，2，…，m)和对应的特征向量a_k(k＝1，2，…，m)；

S15、将特征值λ_k按照从大到小排列，λ₁≥λ₂≥…≥λ_m；选择累计贡献率大于阈值的前n个特征值对应的特征向量(a₁，…，a_n)组成m行n列的变换矩阵P，前n个特征值的累积贡献率为主成分的累计贡献率α，累计贡献率α的计算公式如式(3)所示；

或者，根据式(4)计算每个特征值的贡献率η_k，将贡献率按照从大到小排列η₁≥η₂≥…≥η_m，选择累计贡献率大于阈值的前n个特征值对应的特征向量(a₁，…，a_n)组成m行n列的变换矩阵P，前n个特征值的累积贡献率为主成分的累计贡献率α，累计贡献率α的计算公式如式(5)所示；