[发明专利]生成环境特征的深度强化学习方法以用于计算机视觉系统的漏洞分析与改进性能

说明书

所描述的是一种使用深度强化学习来生成环境特征的系统。该系统接收策略网络架构、初始化参数以及仿真环境，该仿真环境是对通过物理环境的目标系统的轨迹进行建模的。对从策略网络采样的地标特征进行初始化，并且通过使用强化学习算法对该策略网络进行训练来生成经训练的策略网络。使用经训练的策略网络来生成环境特征集并在显示设备上进行显示。

相关申请的交叉引用

本申请是2020年4月9日提交的名称为“A Deep Reinforcement Learning Methodfor Automatic Generation of Environmental Features Causing a Neural NetworkBased Vision System to Produce Incorrect Estimates”的美国临时专利申请No.63/007,848的非临时申请，其全部内容通过引用并入本文。

发明背景

(1)发明领域

本发明涉及对基于神经网络的计算机视觉进行改进的系统，更特别地，涉及使用自动生成环境特征的深度强化学习来对基于神经网络的计算机视觉进行改进的系统，所述环境特征要结合漏洞分析或一般性能改进来使用。

(2)相关技术描述

人工智能(AI)的大多数现实世界应用(包括自主系统、异常检测以及语音处理)是在时间域中运行的。然而，几乎所有最先进技术的对抗攻击都是静态执行的(即，攻击算法完全是在固定的静态输入上运行的)。已知基于神经网络的视觉系统易受到所谓的对抗攻击。在高的层面，这种攻击尝试发现不会被人类观察者误分类(或被以其他方式错误感知)但被神经网络误分类的输入图像。发现这样的对抗示例被证明是相当简单的，即使在所生成的示例需要满足附加约束的情况下也是如此。不简单的是能够在现实世界中实现的对抗示例的设计。

有若干因素使向现实世界的转移成为重要的挑战。首先，许多现有攻击仅在限制性照明和观察条件下才起作用。第二，现有攻击忽略了这样的事实，即，在现实世界中，这样的系统是随时间而运行的。最后，现有最先进技术的方法(诸如Sharif等人在“A GeneralFramework for Adversarial Examples with Objectives”ACM Transactions onPrivacy and Security,1-30,2019中所描述的方法，下文中被称为“Sharif等人”，其通过引用并入于此，如同在本文中完全阐述一样)假设白盒访问目标系统(即，它们假设访问基于神经网络的算法的底层源代码)。

在非受控现实攻击方面，最先进技术的是Sharif等人最近的工作，其利用了生成模型(generative model)。然而，他们的工作集中于会欺骗面部识别系统的“对抗眼镜(adversarial eyeglasses)”的生产，并且重点是白盒攻击。如上所述，白盒攻击是攻击者可以访问模型参数的攻击。在黑盒攻击中，攻击者不能访问这些参数。换句话说，黑盒攻击使用不同的模型或者根本不使用模型来生成对抗图像。从漏洞分析或设计以改进性能的角度来看，白盒假设并不总是合理的。因此，开发可以免除这种假设的方法是有用的。

Serrano,C.R.、Sylla,P.、Gao,S.和Warren,M.A.在“RTA3:A real timeadversarial attack on recurrent neural networks”，Deep Learning Security 2020,IEEE SecurityPrivacy Workshops(下文中被称为Serrano等人)(其通过引用并入于此，如同在本文中完全阐述一样)中描述了靶向(targeting)循环神经网络(RNN)或有状态系统；然而，他们的工作仅允许受控攻击。如Serrano等人所述，在受控攻击中，攻击者能够动态地操纵输入信号或环境的某些方面。在非受控攻击中，仅允许在前的一次性操纵(例如，环境的)。