[发明专利]基于对抗地图的深度强化学习导航应用鲁棒性增强方法

说明书

本发明涉及一种基于对抗地图的深度强化学习导航应用鲁棒性增强方法，属于人工智能安全技术领域。本发明针对深度强化学习导航应用，为提高真实环境下DRL导航系统的鲁棒性，保证DRL导航模型在多种地图上均可安全导航，基于对抗样本的基本原理，提出了对抗地图的定义以及生成方法，并在此基础上通过“以攻促防”的方式，从对抗样本攻防角度出发，设计了一种基于对抗地图的鲁棒性增强方法，能够解决在真实环境下如何将对抗扰动添加到智能模型输入的问题，为真实环境下DRL导航模型的鲁棒性增强提供了一套可用的方案。

技术领域

本发明属于人工智能安全技术领域，具体涉及一种基于对抗地图的深度强化学习导航应用鲁棒性增强方法。

背景技术

近年来，随着机器学习理论技术的不断成熟，人工智能的广泛应用已深刻的影响到人类的日常生活。作为人工智能技术的研究热点之一，深度强化学习(DeepReinforcement Learning，DRL)结合了深度学习的数据特征提取能力和强化学习的自学习能力，已在工业控制、机器人导航、游戏AI、生物医学等领域得到深入研究。在移动机器人导航应用中，相比于大多基于SLAM技术的传统导航框架，基于DRL的导航具有无地图、学习能力强、对传感器精度依赖低等优点，其端到端的决策方式在动态环境或位置环境中具有很好的表现，得到学术界和工业界广泛重视。

另一方面，在人工智能技术的高速发展的同时，其自身安全性问题逐渐受到研究者们的重视，其中，对抗样本目前的研究热点之一。通过对正常样本添加细微的扰动，对抗样本可以使目标模型做出错误决策，且由于人工智能系统的高复杂性和低可解释性，导致目前无法有效的检测和预防这种安全隐患。特别是在航空航天、工业控制、自主导航等安全攸关领域，对人工智能算法和模型的安全性、可靠性层面有更高的要求。因此，有必要在这些领域上对智能算法的安全鲁棒性增强方法进行研究。

现有针对人工智能的安全性研究集中在图像分类、目标检测等有监督学习领域，对DRL的相关工作尚处于初步阶段。且已有研究多数以视频游戏为验证场景，工作仅在算法层面开展，成果无法直接应用到其他领域。针对DRL导航的安全性研究参考文献1(Bai X,Niu W,Liu J,et al.Adversarial Examples Construction Towards White-Box Q TableVariation in DQN Pathfinding Training,in Proceedings of the 2018 IEEE ThirdInternational Conference on Data Science in Cyberspace(DSC).Piscataway,NJ:IEEE,2018:781-787)和参考文献2(Tong C,Niu W,Xiang Y,et al.Gradient Band-basedAdversarial Training for Generalized Attack Immunity of A3C PathFinding.arXiv preprint arXiv:1807.06752,2018)，都是在栅格地图上的寻路任务进行研究，与真实导航环境差距较大。

发明内容

(一)要解决的技术问题

本发明要解决的技术问题是：如何解决在真实环境下如何将对抗扰动添加到智能模型输入的问题，为真实环境下DRL导航模型的鲁棒性增强提供一套可用的方案。

(二)技术方案

为了解决上述技术问题，本发明提供了一种基于对抗地图的深度强化学习导航应用鲁棒性增强方法，包括以下步骤：

步骤一、基于对抗样本的基本原理，定义对抗地图并提出对抗地图生成方法；

步骤二、安全加固训练：使用步骤一的对抗地图生成方法，通过生成对抗地图对导航智能体进行重训练。