[发明专利]一种基于CW攻击对智能单交叉口的对抗扰动生成方法

说明书

一种基于CW攻击对智能单交叉口的对抗扰动生成方法，根据现有的深度强化学习中的DQN算法训练控制单交叉口的自适应的智能交通灯模型，根据智能交通灯模型对当前相位的偏好程度判断当前状态是否具有攻击价值，利用基于CW攻击结合优化梯度排序以及输入状态(即车辆在相应路段的空间分布)的离散性生成对抗样本，最后通过在SUMO中交通流的流畅程度，车辆队列长度以及总体等待时间的变化检验攻击效果。本发明减少了攻击被发现的概率，且攻击效果好。

技术领域

本发明属于智能交通的强化学习算法与模型的安全研究领域，具体涉及一种基于CW攻击对智能单交叉口的对抗扰动生成方法。

背景技术

随着人工智能技术的飞速发展，AI技术被应用到越来越多的方面。深度强化学习作为人工智能方面的一个新兴技术，由于其巨大的潜力，开始受到了学者和技术人员们越来越多的关注。强化学习在机器学习，智能交通，知识感知等方面都取得了一系列的成果。

在智能交通领域，因为近些年来我国的机动车保有量不断上升，导致车辆拥堵问题成为交通管理面临的巨大挑战，而现有的基础道路设施由于经济、环境等原因而难以全面的改造，所以将深度强化学习技术应用于交通灯的优化控制成为解决交通拥堵问题的一条有效途径，通过交通灯的自适应控制，可以优化区域网络的交通，减少拥堵。

尽管深度强化学习算法在很多任务中表现出了出色的性能，但它们和神经网络一样极易受到对抗性攻击，例如：引诱攻击、策略定时攻击、嗅探攻击、基于值函数的对抗攻击、木马攻击等。但是，针对使用深度强化学习优化的交通灯的对抗攻击，目前仍是一个开放的问题，尚未得到充分的探讨和研究。

发明内容

为了克服已有技术的不足，本发明提出一种基于CW攻击对智能单交叉口的对抗扰动生成方法，可以对智能交通灯进行定向的攻击。

本发明解决其技术问题所采用的技术方案是：

一种基于CW攻击对智能单交叉口的对抗扰动生成方法，包括以下步骤：

步骤1：使用开源交通仿真软件SUMO建立一个单交叉口网络，将SUMO建立的单交叉口结合强化学习中的DQN算法建模为单智能体交通灯模型，对模型进行训练，当智能交通灯模型最后的总回报相对稳定时，保存模型参数，模型训练完成；

步骤2：采集单交叉口中相应路段车辆的空间分布输入状态，将当前时刻状态输入到智能交通灯模型中，生成对应动作的Q值，根据动作偏好函数衡量当前状态下策略对动作的偏好程度，偏好程度高即攻击该时刻成功后会在更大程度上扰乱交通，当偏好程度超过设定的阈值，则使用CW攻击算法对输入状态进行攻击，生成对抗扰动，将对抗扰动与原始状态相结合生成中间状态；智能交通灯模型根据中间状态选取动作，若所选动作与原始状态的Q值向量中最小项对应的动作相同，则中间状态即为对抗状态，否则使用CW攻击算法对中间状态进行攻击再次生产对抗扰动，直到产生对抗状态；

步骤3：为了对扰动的大小进行限制，需要对攻击成功后产生的对抗状态进行判定，若添加的扰动超过阈值则舍弃对抗状态，将原始状态输入智能交通灯模型；

步骤4：将状态输入智能交通灯模型，智能交通灯根据当前状态选取动作，即交通灯的相位，在SUMO中对交通流量进行控制。

进一步，所述步骤1的过程如下：

1.1：在单交叉口上使用强化学习算法训练智能交通灯模型，强化学习算法包含三个最基本的要素：环境状态、智能体动作、环境奖励，对t时刻单交叉口的车辆分布进行离散化编码，将单交叉口中i路段入口处至停车线处按等距离划分k份；