[发明专利]基于强化学习的无人驾驶车辆城市交叉口通行方法

说明书

本发明公开了一种基于强化学习的无人驾驶车辆城市交叉口通行方法，步骤1、通过摄像法采集车辆连续运行状态信息和位置信息，包括速度、横向速度和加速度值、纵向速度和加速度值、行驶轨迹曲率值、油门开度和制动踏板压力；步骤2、通过聚类处理得到实际数据的特征运动轨迹和速度量；步骤3、通过指数加权移动平均的方法来处理原始数据；步骤4、利用NQL算法实现交叉口通行方法。本发明NQL算法在处理复杂的交叉路口场景时学习能力明显优于Q学习算法，以更少的训练数据在更短的训练时间内达到更好的训练效果。

技术领域

本发明属于无人驾驶领域，更具体的涉及一种基于强化学习的无人驾驶车辆城市交叉口通行方法。

背景技术

作为未来提高城市道路通行效率和减少道路安全事故的利器，无人驾驶车辆近年来得到了极大地发展，并且国内外许多科研机构和高校仍在加大研发力度。但要使无人驾驶车辆在混杂的实际道路环境中实现完全的自主驾驶，就必须让无人驾驶车辆的“控制脑”像人类驾驶员一样具有学习和随机应变的能力。而基于传统规则的车辆智能行驶系统仅仅只适用于特定的驾驶场景，无法实现自动驾驶决策系统的环境自适应性和鲁棒性；特别是像城市交叉路口这种由于大量车辆穿行而产生冲突的热点区域，其对无人驾驶车辆做出实时正确的决策有着极高的要求。

国内外许多学者对城市不同交通环境下的车辆通行状况进行了大量、系统的研究，从不同的研究角度提出了许多车辆通行模型。

HoriuchiM等，通过GM(GeneralMotor)微观模型描述速度与流量之间的宏观关系，模型形式简单、物理意义明确，但其通用性能不高，其不能随着交通环境和运行状态的改变而做出相应的改变，只能描述具体某段时间内的交通流行为，泛化能力太低；EvansD等提出的线性模型，尽管考虑了通行过程中，头车制动对跟随车辆的影响，但与GM模型一样，对复杂多变的城市交叉口交通环境不能起很好的作用，只适用于单一、简单的环境。LiangJ,MengD等提出了在车辆通行过程中保持前车和跟随车间的安全距离的防撞模型，基于CA模型又演变出了SISTM、INTRAS和CARSIM等模型，CA模型会严格遵守“最小安全距离”的准则，但其在处理人-车-路(环境)多源融合信息时，反应的精准性和实时性远远不够。

Joachim等，曲大义等，Rauskolb等分别采用基于行为网络、基于分层Logit模型、基于混合规则与行为模型的方法建立智能车辆行为决策模型,对不同交通场景下的跟车、换道等行为提出了相应的解决办法。Wei等提出了一种基于预测和成本函数的方法，该方法通过人类能够理解的成本函数库评估预测的交通情况，并且基于最低成本选择最佳控制策略。陈佳佳等为解决复杂城市环境中智能车辆的行为决策问题，使用了层次分析法以及理想决策相似度判别技术。孙振平等研究了高速公路环境下基于安全、效率与交通规则的行为决策问题，给出相应的决策结果。北京理工大学龚建伟等提出了一种基于直觉的决策方法，即在离线学习过程中，将经验驾驶员的驾驶经验转化为知识，并将提取出来的规则应用于车辆行为决策中。Song等为了能在每个预测时间步更新意图，构建类人策略机制生成候选决策，并建立一个部分可观察的马尔可夫决策过程(POMDP)来建模一般决策框架，实现驾驶状态转换。王畅等提出了基于预瞄—跟随理论的智能车行为决策方法，提出了自动换道跟随算法，该算法体现了真实的驾驶行为，提高了智能车辆的行驶稳定性。

上述提出的研究方法大部分都是针对特定的较为简单的交通场景，高密度的城市环境少有涉及。而实际的交通场景是一个高度动态的复杂环境，许多因素往往不能提前精确建模，在传统的行为决策体系当中，没有很好的考虑人-车-路(环境)的交互，因此给出的决策往往不具备良好的环境适应性。因此，许多学者将强化学习(机器学习分支之一)应用到无人驾驶车辆的行为决策算法开发，为实现无人驾驶车辆的在线学习提供了有效手段。