[发明专利]一种基于路径规划的深度强化学习智能车行为决策方法

权利要求书

1.一种基于路径规划的深度强化学习智能车行为决策方法，其特征在于，包括如下步骤：

S1、将任务建模为马尔科夫决策过程；

S2、搭建深度强化学习算法；

S3、智能体输入设计；

S4、智能体输出设计；

S5、搭建训练网络结构；

S6、对任务环境进行路径规划；

S7、改进奖励函数；

S8、训练和测试智能体模型。

2.根据权利要求1所述的基于路径规划的深度强化学习智能车行为决策方法，其特征在于，所述S2中深度强化学习采用深度Q网络算法，包括环境交互和网络更新，通过经验回放和固定目标网络来处理完成迭代流程以实现从感知输入到车辆行为输出的端到端映射。

3.根据权利要求1所述的基于路径规划的深度强化学习智能车行为决策方法，其特征在于，所述S3中的车辆智能体的输入包括当前车辆环境信息以及自车的状态信息。

4.根据权利要求1所述的基于路径规划的深度强化学习智能车行为决策方法，其特征在于，所述S4中的智能体的输出为车辆的行为决策，包括直行、左转和右转三种典型行为。

5.根据权利要求1所述的基于路径规划的深度强化学习智能车行为决策方法，其特征在于，所述S5中训练网络结构采用深度神经网络，所述训练网络结构包括序贯卷积神经网络和全连接神经网络。

6.根据权利要求1所述的基于路径规划的深度强化学习智能车行为决策方法，其特征在于，所述S6中路径规划根据任务需求，采用Astar算法规划出车辆智能体路径，并按照一定距离采样出车辆行进航路点列表。

7.根据权利要求1所述的基于路径规划的深度强化学习智能车行为决策方法，其特征在于，所述S7中改进的奖励函数采用路径航路点作为车辆引导奖励，以便车辆智能体获得及时奖惩。

8.根据权利要求1所述的基于路径规划的深度强化学习智能车行为决策方法，其特征在于，所述S8中智能体模型的训练过程包括：

将图像输入到模型中，模型输出动作指令以及相应动作奖惩；

通过损失函数梯度下降的反向传递来调整网络的参数，以此获得最优策略。

9.根据权利要求8所述的基于路径规划的深度强化学习智能车行为决策方法，其特征在于，所述S8中的智能体模型的测试为将完成训练的智能体放到新的驾驶环境中，测试其泛化性，并分析模型的性能。