[发明专利]适用于智能汽车的自主决策方法及系统、装置、终端

说明书

本发明提供了一种适用于智能汽车的自主决策方法，包括根据状态选择动作集合A中的动作，得到下一个状态，然后计算出回报R，在Double DQN框架下，给当前Q网络与目标Q网络构建相同的CNN网络用于训练；利用贪婪策略选择动作获得待训练的样本，动作从步骤S1中的动作集合A中选择，样本构成reply池；待样本达到设定数量后，从reply池中根据设定阈值选择样本，随后进行训练，根据梯度下降法，由当前Q网络与目标Q网络之间误差进行反向传播优化当前Q网络参数；样本训练之后应用至载体进行自主决策。本发明对不同信息构建不同网络，有利于保证各种信息的本质特征，避免所有信息通过同一网络，特征混杂难以处理。

技术领域

本发明涉及自动驾驶技术领域，具体地，涉及一种适用于智能汽车的自主决策方法及系统、装置、终端。

背景技术

近年来，随着以人工智能为代表的新一轮科技革命的崛起，推动了传统制造业进入快速转型升级发展。传统的汽车产业作为各类先进机电系统技术集成的典型代表，其智能化也随着这轮科技革命逐渐成为发展趋势，成为研究热点。同时，自动驾驶汽车也为解决汽车交通安全、交通拥堵、燃油消耗和空气污染问题提供了新的解决方案。

驾驶行为决策是智能车的重要功能模块，也是自主驾驶技术研究的重点和难点。驾驶行为决策是根据感知系统得到的环境信息和当前的车辆状态做出安全合理的驾驶操作，比如车辆跟驰、换道、超车、汇入车流等，其性能好坏是衡量智能车辆智能化水平的重要指标。

现有技术中对驾驶决策行为采用的是基于规则的技术方案，存在的缺点是鲁棒性不足，本申请对技术方案的决策方法进行了改进，解决了现有技术不能解决的鲁棒性不足的技术问题，将现有技术方案应用到本申请中也不能解决，是因为现有技术无法实现对实际环境的精确模拟。

经过检索，专利文献CN110406530B公开了一种自动驾驶方法、装置、设备和车辆。包括：获取环境感知数据和车辆状态参数；将所述环境感知数据和车辆状态参数输入第一动作参数识别模型进行离散型动作参数识别，得到离散型动作的目标参数；将所述环境感知数据和车辆状态参数输入第二动作参数识别模型进行连续型动作参数识别，得到连续型动作的目标参数；当所述离散型动作的目标参数和所述连续型动作的目标参数匹配时，基于所述连续型动作的目标参数和所述离散型动作的目标参数控制车辆自动驾驶。该现有技术是基于车辆的驾驶数据和建立的学习模型实现车辆自动驾驶的端对端训练，实现车辆在复杂场景中离散型动作和连续型动作的控制参数的输出、匹配和同步；但是不足之处在于如何合理的离散化连续型模型，或者如何直接构建合理的离散型模型是十分困难的。

专利文献CN110893860B公开了一种智能驾驶方法及智能驾驶系统，包括：获取车辆当前时刻的特征参数以及车辆在未来预设时间段内驾驶场景的道路属性；其中，所述特征数可以包括结构化语义信息、道路属性以及交通态势频谱；比较当前时刻的特征参数与场景特征库中标准场景的特征参数，以及比较车辆在未来预设时间段内驾驶场景的道路属性与场景特征库中标准场景的道路属性，根据比较结果确定每个场景类与所述车辆当前时刻的驾驶场景的总相似度；将N个场景类中总相似度最高的第一场景类确定为当前时刻的驾驶场景；根据确定结果控制车辆进行智能驾驶。该现有技术的不足之处在于为特征参数和道路属性等都是基于规则制定者的经验选定，鲁棒性不足。

因此，亟需研发设计一种对不同信息通过不同网络进行处理实现自主决策的方法和系统。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种适用于智能汽车的自主决策方法及系统、装置、终端。

根据本发明提供的一种适用于智能汽车的自主决策方法，包括如下步骤：

步骤S1：构建驾驶行为的状态集合S、驾驶行为的动作集合A和驾驶行为的回报集合R，根据状态选择动作集合A中的动作，得到下一个状态，然后计算出回报R，在Double DQN框架下，给当前Q网络与目标Q网络构建相同的CNN网络用于训练；