[发明专利]一种基于深度强化学习的信息物理系统安全控制方法

说明书

一种基于深度强化学习的信息物理系统安全控制方法，它属于信息安全技术领域。本发明解决了在网络攻击情况下，基于现有方法设计的安全控制策略的控制性能不佳的问题。本发明将受攻击情形下的信息物理系统动态方程描述为一个马尔科夫决策过程，基于建立的马尔科夫过程，将虚假数据注入攻击情形下的信息物理系统安全控制问题转化为仅使用数据的控制策略学习问题，再基于柔性actor‑critic强化学习算法框架，提出了一种基于李雅普诺夫函数的柔性actor‑critic强化学习算法，并提供了一种新颖的深度神经网络训练框架，设计过程中融合李雅普诺夫稳定理论，保证了信息物理系统的稳定性，有效提升了控制性能。本发明可以应用于对信息物理系统的安全控制。

技术领域

本发明属于信息安全技术领域，具体涉及一种基于深度强化学习的信息物理系统安全控制方法。

背景技术

信息物理系统融合并发展了现有的通信、无线网络、分布式、人工智能等技术，构建了物理空间与信息空间中人、机、物、环境、信息等要素的相互映射、适时交互、高效协同，成为集计算、通信与控制于一体的新一代智能系统。作为智能制造的核心，信息物理系统的发展已受到世界各国的重视。近年来，网络攻击事件频发，对国家安全、经济发展、基础设施安全、人民生命财产造成了极大威胁，这使得如何保证信息物理系统的安全成为亟待解决的重大问题。虽然信息物理系统安全问题的研究不断取得突破，但是仅仅依靠单一学科知识，如控制学科、计算机科学学科或者网络信息安全学科技术进行信息物理系统安全设计的不足日益凸显。针对网络攻击，现有方法仍然存在着信息物理系统模型复杂、建模困难、安全控制策略设计困难、安全控制策略下控制性能不佳等问题，因此，如何融合多学科技术手段解决信息物理系统的安全问题已成为亟待解决的重要问题。

深度强化学习技术在机器人和游戏领域已得到广泛应用。该技术可以实现完全基于数据的智能控制方案设计。信息物理系统是一种智能系统框架，如何基于深度强化学习技术设计智能安全控制策略具有重要科学意义。

发明内容

本发明的目的是为解决在网络攻击情况下，基于现有方法设计的安全控制策略的控制性能不佳的问题，而提出了一种基于深度强化学习的信息物理系统安全控制方法。

本发明为解决上述技术问题所采取的技术方案是：

一种基于深度强化学习的信息物理系统安全控制方法，所述方法具体包括以下步骤：

步骤一、建立执行器虚假数据注入攻击下的信息物理系统模型；

步骤二、将步骤一中建立的执行器虚假数据注入攻击下的信息物理系统模型描述为马尔科夫决策过程；

步骤三、搭建深度神经网络，基于搭建的深度神经网络为马尔科夫决策过程输出决策策略。

进一步地，所述步骤一的具体过程为：

步骤一一、理想状态下，信息物理系统模型的动态方程为：

其中，表示信息物理系统的状态向量，表示实数域，n_x表示状态向量x的维度，表示待设计的控制信号，n_u表示控制信号u的维度，为x的一阶导数，f(·)表示广义函数映射；

步骤一二、基于欧拉方法对步骤一一中的信息物理系统模型进行离散化，得到离散化信息物理系统模型：

x(k+1)＝(f(x(k),u(k)))Δt+x(k)

其中，x(k)代表离散化信息物理系统在k时刻的状态向量，u(k)代表k时刻的控制信号，Δt表示采样周期，x(k+1)代表离散化信息物理系统在k+1时刻的状态向量；

步骤一三、不考虑外部扰动、不确定性以及网络攻击行为的参考模型的动态方程为：