[发明专利]一种基于深度强化学习的防碰撞控制方法

摘要

本发明公开了一种基于深度强化学习的防碰撞控制方法，采用深度确定性策略梯度方法(DDPG算法)进行深度强化学习，该方法包括：步骤1，提取本车参数和环境车辆参数；步骤2，利用本车参数和环境车辆参数，构建虚拟环境模型；步骤3，根据本车参数和环境车辆参数和虚拟环境模型，定义所述深度确定性策略梯度方法的基础参数；步骤4，根据步骤3定义好的基础参数，采用深度强化学习中的神经网络构建防碰撞控制决策系统，所述防碰撞控制决策系统包括策略网络和评价网络；步骤5，训练所述策略网络和评价网络，得到所述防碰撞控制决策系统。本发明通过构建基于深度神经网络的防碰撞控制决策系统，基于时间差分强化学习方法不断优化网络控制结果的防碰撞控制决策系统，有效提高了防碰撞控制决策系统的控制性能。

主权项

1.一种基于深度强化学习的防碰撞控制方法，其特征在于，采用深度确定性策略梯度方法进行深度强化学习，该方法包括如下步骤：步骤1，提取本车参数和环境车辆参数；步骤2，利用步骤1提取得到的本车参数和环境车辆参数，构建虚拟环境模型；步骤3，根据步骤1提取得到的本车参数和环境车辆参数和步骤2构建得到的虚拟环境模型，定义所述深度确定性策略梯度方法的基础参数，所述基础参数包括：虚拟环境模型在当前时刻t的状态s_t、虚拟环境模型在下一时刻t+1的状态s_t+1、所述本车(1)基于s_t能够进行防碰撞控制的动作a_t、动作a_t对应的回报值r_t；步骤4，根据步骤3定义好的基础参数，采用深度强化学习中的神经网络构建防碰撞控制决策系统，所述防碰撞控制决策系统包括策略网络(5)和评价网络(6)，所述策略网络(5)的输入是状态s，输出是动作a；所述评价网络(6)的输入是状态s和动作a，输出是Q值：Q(s，a)；步骤5，训练所述策略网络(5)和评价网络(6)，得到所述防碰撞控制决策系统：首先，设置所述虚拟环境模型的当前状态表示为s_t，作为所述策略网络(5)的输入，并在所述策略网络(5)上加高斯扰动，所述策略网络(5)输出一个动作a_t；在本车(1)接收到所述动作a_t后，所述评价网络(6)生成对所述动作a_t评价的回报值r_t，同时检测获得下一时刻状态s_t+1；然后，根据所述回报值r_t更新所述评价网络(6)的参数，并沿所述评价网络(6)建议的方向更新所述策略网络(5)的参数。