[发明专利]一种存在假数据注入攻击时的最优跟踪控制器设计方法

权利要求书

1.一种存在假数据注入攻击时的最优跟踪控制器设计方法，其特征在于，包括如下步骤：

步骤一：建立假数据攻击模型和增广系统模型；

步骤二：采用博弈论方法，建立攻防双方的博弈模型；

步骤三：采用基于Q-函数的强化学习方法，求解博弈双方的最优策略，包括策略迭代和值迭代方法；

步骤四：基于输入-输出数据，采用Q-学习方法，迭代求解最优策略；

所述的步骤一具体为：

考虑如下的系统模型：

x_k+1＝Ax_k+Bu_k

其中，A和B为系统矩阵；如果系统控制输入u_k在传输过程中受到攻击，那么受到假数据注入攻击后的系统模型为：

其中，q为攻击者数目，表示第i个传输通受到了第j个攻击者攻击，否则未受攻击；为k时刻第j个通道注入的假数据；

假设跟踪模型具有如下形式：

其中，矩阵T为跟踪模型矩阵；则增广系统可以表述为：

所述的步骤二具体为：

假设跟踪控制器和假数据均为状态的线性函数，即

其中，K＝[K₁，K₂]和分别为攻防双方的反馈增益，

博弈双方选取如下的支付函数：

其中，γ∈(0，1)为折扣因子，Q_e和R分别为给定的半正定和正定矩阵；防守方和攻击方的最优策略设计为：

2.根据权利要求1所述的一种存在假数据注入攻击时的最优跟踪控制器设计方法，其特征在于，所述的步骤三具体为：

定义如下的Q-函数：

通过求解方程和可以得到如下的攻防双方最优行动策略：

其中，基于Q-函数的策略迭代和值迭代方法分别在算法1和算法2中给出；

算法1：基于Q-函数的策略迭代算法，包括如下步骤，

1)、初始化：设定j＝0，选择H⁰＝(H⁰)^T

2)、策略评估：解下面的方程，求P^j+1

3)、策略改进：

4)、停止条件：||H^j+1-H^j||＜∈；

算法2：基于Q-函数的值迭代算法，包括如下步骤，

1)、初始化：设定j＝0，选择H⁰＝(H⁰)^T

2)、策略评估：解下面的方程求P^j+1

3)、策略改进：

4)停止条件：||H^j+1-H^j||＜∈。

3.根据权利要求1所述的一种存在假数据注入攻击时的最优跟踪控制器设计方法，其特征在于，所述的步骤四具体为：

系统状态可以采用如下的输入-输出序列表示：

那么，Q-函数可以写成下面的形式：

因此，攻防双方的最优策略为：

其中，

采用Q-学习的策略迭代和值迭代方法分别在算法3和算法4中给出：

算法3：采用Q-学习的策略迭代算法，包括如下步骤，

1)初始化：设定j＝0，选择可稳的初始策略和

2)策略评估：解下面的方程求h^j+1

3)策略改进：

4)停止条件：||H^j+1-H^j||＜∈

算法4：采用Q-学习的值迭代算法，包括如下步骤，

1)初始化：设定j＝0，选择任意的初始策略和

2)策略评估：解下面的方程求h^j+1

3)策略改进：

4)停止条件：||H^j+1-H^j||＜∈。