[发明专利]一种基于类人驾驶规则与改进深度确定性策略梯度的无人驾驶方法

权利要求书

1.一种基于类人驾驶规则与改进深度确定性策略梯度的无人驾驶方法，包括以下步骤：

使用基于规则而非基于样本的方式进行类人驾驶行为建模；

基于添加类人行为约束的深度确定性策略梯度算法进行无人驾驶策略探索。

2.根据权利要求1所述的方法，其中，在所述无人驾驶方法中，对类人驾驶行为的建模方式为：

其中，＜s₁,s₂,…s_n＞表示驾驶过程中智能体状态(State)的集合，＜a₁,a₂,…a_n＞表示驾驶过程中智能体动作(Action)的集合，{τ₁,τ₂,…,τ_m}代表不同场景下融合类人逻辑的驾驶规则，{λ₁,λ₂,…,λ_n}为连续动作序列A＝＜a₀,a₁,…,a_n＞中时序动作上的前后关联。

相应的，本发明改进的模仿学习方式将抽取出的「状态-动作对」的集合形式改进为：

其中，D表示抽取出的「状态-动作对」的集合。

3.根据权利要求1所述的方法，其中，在所述无人驾驶方法中，基于添加类人行为约束的深度确定性策略梯度算法的策略更新方式为:

其中，θ^Q为评价网络(critic network)的权值，θ^μ为动作网络(Actor network)的权值，{λ₁,λ₂,…,λ_n}为连续动作序列A＝＜a₀,a₁,…,a_n＞中时序动作上的前后关联，是当前的无人驾驶策略梯度，是在添加类人行为约束后，评价网络的Q值对于当前动作a的梯度。

4.一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现根据权利要求1所述方法的步骤。

5.一种计算机设备，包括存储器和处理器，在所述存储器上存储有能够在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1所述的方法的步骤。