[发明专利]基于深度强化学习的智能车速度决策方法及其仿真方法

权利要求书

1.一种基于深度强化学习的智能车速度决策方法，其特征在于，包括以下步骤：

步骤一、构造智能车通过路口的马尔可夫决策模型：构造马尔可夫决策模型中的状态空间S，动作空间A，即时奖赏空间R；

状态空间的构成包括本车状态与他车状态，构建状态空间S如下：

S＝[s_ego,s₁,s₂,…,s_n]

其中，s_ego表示本车状态，s₁-s_n表示当前交通场景中其他车辆的状态，n表示其他车辆的数量；

动作空间A的构成包括本车在通过路口过程中能够控制车速的操作，包括：剧烈地减速DECH，柔和地减速DECS，保持匀速KS，柔和地增速ACCS，剧烈地增速ACCH，如下所示：

A＝[DECH,DECS,KS,ACCS,ACCH]

即时奖赏R表示智能车完成某个动作后得到的回报，包括：到达目的地附近的奖赏值R_des,智能车与他车发生碰撞的奖赏值R_coll,衡量舒适性的奖赏值R_com，衡量跟车距离潜在安全性的奖赏值R_dis,行车效率奖赏值R_effi，即时奖赏函数构成如下：

R＝R_des+R_coll+R_com+R_dis+R_effi

步骤二、初始化神经网络，构建经验池；

步骤三、采用ε-greedy算法进行动作的选择，并将此次经验填加进所述步骤二构建的经验池；

步骤四、从经验池随机选出一部分经验，采用随机梯度下降法训练神经网络；

步骤五、根据所述步骤四得到的最新神经网络完成当前时刻智能车的速度决策，并将此次经验填加至经验池，随机选取一部分经验再进行新一轮神经网络的训练。

2.如权利要求1所述的一种基于深度强化学习的智能车速度决策方法，其特征在于，所述步骤二包括以下步骤：

神经网络包含1个输入层、1个输出层，2个隐藏层；

在输入层，设置神经节点的个数等于状态空间S向量的维度；

在输出层，设置神经节点的个数等于动作空间A的维度；

初始化经验池Replaybuffer以存取每次执行动作的状态转移；

使用经验回放法，将数据加载到缓存区。

3.如权利要求1所述的一种基于深度强化学习的智能车速度决策方法，其特征在于，所述步骤三包括以下步骤：

对于每一次动作的选择，在当前环境状态S₀，采用ε-greedy贪婪策略进行动作a₀的选择，即以ε的概率选择Q值最大的动作，以1-ε的概率随机选择动作，其中ε∈(0,1)，如下所示：

随即执行动作a₀，获得立即奖赏值R₀，环境状态由S₀转变为S₁，如果本车与其他车辆发生碰撞，则将失败标志over置为1，否则over＝0；

将experience＝[S₀,a₀,R₀,S₁,over]作为一次经验，填加到经验池。