[发明专利]一种存在假数据注入攻击时的最优跟踪控制器设计方法

说明书

本发明涉及一种智能跟踪控制器，当存在假数据注入攻击时，该控制器能够实时的计算最优跟踪控制律，使得系统的输出能够跟踪系统的参考输入。该控制器可以包含不同的控制算法处理器，采用基于博弈论和Q‑学习的自适应动态规划算法，可以适用于系统动态未知的情况，甚至于只能获得输入‑输出数据的情况。本发明适用于通过无线网络连接系统和控制器的情况，或者通过无线通讯网络传输数据的情况，在无人机编队飞行、智能车编队控制等方面有极大的应用价值。

技术领域

本发明涉及利用博弈论、自适应动态规划和强化学习方法，针对线性离散时间系统存在假数据注入攻击时，确定最优跟踪控制器的方法。

背景技术

最优跟踪控制是控制领域的一个重要研究课题，具有广泛的应用背景。比如，智能车和无人机的轨迹跟踪，机器人的跟踪控制等。最优跟踪控制的目的是使系统的输出在最优意义下能够跟踪参考输入(或参考轨迹)，这可以通过最小化预先给定的二次型性能指标函数来实现。需要指出的是，随着网络技术的发展与应用，无线网络传输技术被越来越多的应用于数据的远程传输。然而，由于无线网络的存在，使得传输的数据易于被对手攻击，主要包括拒绝服务攻击、重放攻击、假数据注入攻击等。所以，研究存在网络攻击时的最优跟踪控制具有重要的现实意义。本发明主要针对假数据注入攻击进行研究。

传统的最优跟踪控制，采用动态规划方法设计相应的跟踪控制器。然而，动态规划方法属于由后向前的递推方法，因此不能在线计算，并且存在维数灾的问题。自适应动态规划方法属于人工智能范畴，本质上是基于强化学习理论，模拟人通过对复杂环境的反馈进行学习的思路，进而时间向前的递推求解控制策略，所以能够在线执行。

采用Q学习方法计算最优控制率，可以不需要原系统和参考轨迹发生器的系统矩阵，适用于某些动态矩阵未知的情况。此外，该方法还可以仅仅采用输入输出数据，迭代求解最优跟踪控制策略，而不需要当前状态信息。

发明内容

本发明目的在于提出一种存在假数据注入攻击时，离散时间系统最优跟踪控制器的设计方法，解决了以前存在假数据注入攻击时无法跟踪的问题。本发明的系统结构图如图1所示。本发明的技术方案实施如下：

1)建立假数据攻击模型和增广系统模型；

2)采用博弈论方法，建立攻防双方的博弈模型；防守方为控制器，攻击方为假数据的注入方；

3)建立贝尔曼方程，通过最优控制理论，求解最优控制策略和攻击策略；采用策略迭代方法和值迭代方法求解博弈代数里卡提方程；

4)采用基于Q-函数的强化学习方法，求解博弈双方的最优策略，包括策略迭代和值迭代方法；

5)仅仅基于输入-输出数据，采用Q-学习方法，迭代求解最优策略。

附图说明

图1为存在假数据注入攻击时的系统结构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

参考图1，本发明提出了一种采用博弈论、自适应动态规划和Q学习的方法，解决了离散时间系统的最优跟踪控制问题。具体实施方式如下：

1)建立假数据攻击模型和增广模型

考虑如下的系统模型

x_k+1＝Ax_k+Bu_k (1)

其中，A和B为系统矩阵；假设系统控制输入u_k在传输过程中受到攻击，受到假数据注入攻击后的系统模型变为