[发明专利]一种基于类人驾驶规则与改进深度确定性策略梯度的无人驾驶方法

说明书

本发明公开了一种基于类人驾驶规则与改进深度确定性策略梯度的无人驾驶方法，包括：使用基于规则而非基于样本的方式进行类人驾驶行为建模，并基于添加类人行为约束的深度确定性策略梯度算法进行无人驾驶策略探索。本发明所改进的无人驾驶策略能够输出连续的类人驾驶行为，具备更优秀的控制效果，并能解决传统模仿学习依赖样本的问题。

技术领域

本发明涉及车辆的无人驾驶技术领域，更具体地，涉及一种基于类人驾驶规则与改进深度确定性策略梯度的无人驾驶方法。

背景技术

从上世纪70年代开始,美国、英国等国率先开展了自动驾驶汽车的研究。进入21世纪之后,随着计算能力加强、传感器精度提升、机器学习与模式识别算法的突破,自动驾驶汽车取得突破的条件逐渐成熟。2004 年,美国国防高级研究计划局(Defense AdvancedResearch Projects Agency,DARPA)开始举办一系列自动驾驶比赛,自动驾驶汽车的研究得到空前关注。2009年,Google开始其无人车研究计划,于2012年获得美国首个自动驾驶汽车路测许可证,引爆自动驾驶热潮。随后,Tesla、Uber、百度、美团、滴滴等公司相继宣布自己的自动驾驶计划；2016年至今，随着人工智能技术取得较大进展，在资本的助推下，中美两国也诞生了大量的自动驾驶初创公司；传统汽车产业的整车企业(如吉利、通用、丰田、上汽等)和Tire1(如Bosch、Aptiv等)也在加速推动自动驾驶技术的进步和产业化。

无人驾驶是未来车辆发展的必然趋势，也是人工智能所面临的诸多任务中的一个极具挑战的场景。理想无人驾驶策略的输出应该由一系列符合类人逻辑的连续有序行为组成。然而，现有的无人驾驶策略过于依赖感知- 控制映射过程的“正确性”，在一定程度上忽视了人类驾驶汽车时所普遍遵循的驾驶逻辑，这一问题使得无人驾驶策略会输出大量非类人化的危险行为，可能会导致灾难性的后果。

针对“无人驾驶策略缺乏类人逻辑”的问题，当前技术的解决方案有：

1、放弃基于强化学习的端到端方式，使用人为建立的基于规则的控制方式进行控制。

例如，将车辆行为进行细分，建立具有13个状态的有限状态机组成决策系统，其状态分别为：初始状态、前向驾驶、车道跟随、避障、停止标志前等待、路口处理、等待路口空闲、U-Turn、车辆在U-Turn前停止、越过黄线行驶、在停车区域内行驶、通过交通阻塞路段、在不匹配RNDF路网文件的情况下在路上行驶、任务结束。这种方式更侧重于实现功能，而不是实现高驾驶性能，而由于无人驾驶汽车数据来源的不确定性与先验环境建模的局限性，使得这种依赖精准的环境判断的方案无法拥有足以应对真实路面环境的决策鲁棒性与泛化性。

2、模仿学习，模仿学习是目前针对“无人驾驶策略缺乏类人逻辑”这一问题使用最普遍的解决方案，其属于基于数据/学习的建模方法，其基本思路是通过收集大量人类专家的样本来逼近某一场景下的最优解，然后以此为基准训练智能体的控制策略，使策略具备类人逻辑。但是其仍存在如下问题：

数据难收集、难筛选，且很难收集到多到足够消除误差的数据量：

以人类动作为基准的训练会限制网络对环境与策略的自由探索，易导致局部极值；

复合误差(compounding errors)的存在，会使得训练好的策略模型执行的轨迹和训练轨迹的误差会随时间的增加而越变越大。

只是根据人类提供的状态动作对进行的行为克隆(Behavior Cloning) 来习得驾驶策略，仍未关注类人驾驶行为所形成的动作序列中的内在逻辑。

发明内容

本发明的目的是克服上述现有技术的缺陷，提供一种基于类人驾驶规则与改进深度确定性策略梯度的无人驾驶方法，能够输出连续的类人驾驶行为，具备更优秀的控制效果，并能解决传统模仿学习依赖样本的问题。