[发明专利]支持部分可观测的智能驾驶平台仿真器及观测处理方法

说明书

本发明公开一种支持部分可观测的智能驾驶平台仿真器。并基于智能驾驶平台仿真器提供了一种基于注意力机制的针对部分可观测数据的处理方法，使智能驾驶平台仿真器能够重点关注部分可观测下的重要区域。

技术领域

本发明涉及一种支持部分可观测的智能驾驶平台仿真器及观测处理方法，属于智能驾驶仿真技术领域。

背景技术

随着强化学习领域的不断发展，强化学习已经在许多领域内取得了比较显著的成果，目前已经出现了许多强化学习算法与智能驾驶领域进行结合的工作，智能驾驶领域的L4驾驶技术实现不可或缺的需要强化学习领域的知识，而通向这一目标的关键技术就是强化学习在智能驾驶领域的仿真平台实现。

智能驾驶仿真平台是强化学习应用在智能驾驶领域不可缺少的基础，强化学习虽然在智能决策领域上有非常大的潜力，但是强化学习本身的采样效率不够高，因此需要软件层面的平台仿真器提供相比真实环境效率更高的样本数据；此外，对于智能驾驶领域的一些长尾问题，比如危险驾驶，醉酒驾驶，夜晚驾驶等，也需要一个平台仿真器提供相应的场景仿真。部分可观测的智能驾驶平台仿真器能够对分发给强化学习算法的观测进行一个部分可观测的处理，在现实场景中，智能驾驶车辆的感知模块(激光雷达、毫米波雷达、摄像头等)由于障碍物的存在，无法观测到被遮挡的周边车辆以及行人。显而易见，无人驾驶平台仿真器需要真实地模拟出仿真场景下观测模块的观测。因此针对部分可观测的场景，无人驾驶平台仿真器需要准确且高效地对其进行刻画。

对于部分可观测的环境，如何利用强化学习算法学习到一个稳定、高效、合理的智能驾驶算法也是一个重点问题。强化学习算法的目标是学习到一个最优策略，即如何在当前状态下做出最优动作的决策。但是，普通的强化学习方法一般立足于完全可观测的环境上进行研究，比如围棋：棋盘上的每一个棋子都可以被精确定位。而对于部分可观测的环境，比如前文介绍的在观测中对被遮挡物体进行剔除的环境，普通的强化学习方法很容易陷入到局部最优值中，无法根据部分可观测的观测合理地进行合理的决策。这是因为，如果仅以部分可观测的观测进行决策会导致算法出现重大错误，比如十字路口下高速行驶的车辆在观测内被遮挡掉了，但是智能驾驶算法认为没有被观测到的车辆不存在而不做任何预防措施的话(比如减速)，此时就会出现重大事故。因此，针对部分可观测的环境，强化学习方法需要对部分可观测的观测进行进一步的处理，提高对局部重点区域的关注度，以帮助强化学习算法更好地进行决策。

发明内容

发明目的：针对现有技术中存在的问题与不足，本发明提供一种支持部分可观测的智能驾驶平台仿真器。并基于智能驾驶平台仿真器提供了一种基于注意力机制的针对部分可观测数据的处理方法，使智能驾驶平台仿真器能够重点关注部分可观测下的重要区域。

技术方案：一种支持部分可观测的智能驾驶平台仿真器，其中，所述智能驾驶平台仿真器包括三个部分：

第一部分，自车模型，所述自车模型向深度强化学习算法提供控制接口：刹车、油门以及方向盘的转角；

第二部分，环境车辆模型及行人模型，所述环境车辆模型及行人模型的决策规划算法只是简单的线性规划或者根据专家知识设计的规则，环境车辆模型及行人模型都属于社会车辆模型；

第三部分，道路模型，所述道路模型用于描述仿真场景中具体的道路形状，比如道路是否为双车道，每个方向上包含几个车道，某些车道上是否有斑马线以及红绿灯。自车模型和社会车辆模型都需要在道路上合法地行驶。

进一步地，所述环境车辆模型及行人模型一般不需要设置传感器，也可以根据需要设置传感器。