[发明专利]适用于智能汽车的自主决策方法及系统、装置、终端

权利要求书

1.一种适用于智能汽车的自主决策方法，其特征在于，包括如下步骤：

步骤S1：构建驾驶行为的状态集合S、驾驶行为的动作集合A和驾驶行为的回报集合R，根据状态选择动作集合A中的动作，得到下一个状态，然后计算出回报R，在Double DQN框架下，给当前Q网络与目标Q网络构建相同的CNN网络用于训练；

步骤S2：利用贪婪策略选择动作获得待训练的样本，动作从步骤S1中的动作集合A中选择，样本构成reply池；

步骤S3：待样本达到设定数量后，从reply池中根据设定阈值选择样本，随后进行训练，根据梯度下降法，由当前Q网络与目标Q网络之间误差进行反向传播优化当前Q网络参数；

步骤S4：样本训练之后应用至载体进行自主决策。

2.根据权利要求1所述的适用于智能汽车的自主决策方法，其特征在于，所述步骤S1中驾驶行为的状态集合S包括智能汽车采集的速度与距离信息；驾驶行为的动作集合A包括加速、减速、车道保持、左变道和右变道信息；

训练在Double DQN框架下，给当前Q网络与目标Q网络构建相同的CNN网络。

3.根据权利要求1所述的适用于智能汽车的自主决策方法，其特征在于，所述步骤S1中驾驶行为的回报集合R包括：

r_sum＝r_col+r_left+r_lc+r_speed；

其中，v_max为允许的最大速度；v_min为允许的最小速度；r_left为左车道奖励；r_col为相撞惩罚；r_speed为根据速度大小归一化后得到奖励；r_lc为车道变化惩罚。

4.根据权利要求1所述的适用于智能汽车的自主决策方法，其特征在于，所述步骤S2中获得待训练的样本放入reply池进行积累，在reply池中获取训练集。

5.根据权利要求1所述的适用于智能汽车的自主决策方法，其特征在于，所述步骤S3中采用CNN深度神经网络进行样本训练，包括：

步骤S3.1：初始化CNN深度神经网络参数；

步骤S3.2：针对大于设定阈值的样本在被多次抽取训练后舍弃，针对小于设定阈值的样本在抽样后即被舍弃；

步骤S3.3：根据输入信息匹配不同的CNN深度神经网络进行训练；

步骤S3.4：求取CNN深度神经网络的损失值，两个网络间的损失值用于反向传播来优化当前Q网络；

步骤S3.5：利用梯度下降法优化CNN深度神经网络参数，当前值神经网络每优化N轮，将CNN深度神经网络参数复制给目标Q网络即决策网络。

6.根据权利要求5所述的适用于智能汽车的自主决策方法，其特征在于，所述步骤S3.4中损失值计算为：

loss＝(y-Q(s，a；θ))²

式中，r为下一个状态返回奖励，γ为折扣系数，Q(s，a；θ)为当前Q网络的Q值，Q(s，a；θ′)为目标Q网络的Q值。

7.根据权利要求1所述的适用于智能汽车的自主决策方法，其特征在于，所述步骤S4中输入所需信息，将信息输入所训练CNN网络即可得到动作集合A中的动作所对应的Q值，选择Q值最大的动作，车辆根据动作行动，实现自动驾驶。