[发明专利]基于强化学习转角权重分配的人车协同转向控制方法

说明书

本发明公开了一种基于合作模式强化学习转角权重分配的人车协同转向控制方法。训练进行时，无人驾驶汽车的驾驶员模型参与迭代训练过程，采用DQN智能体实时分配所述无人驾驶汽车的控制器和所述驾驶员模型的权重，并且通过所述无人驾驶汽车的车辆状态和评估网络实时对所述无人驾驶汽车的策略网络进行更新。经过一定迭代次数以后，所述策略网络迭代完成，训练结束，保持最后更新的策略网络的网络参数不变，此时所述评估网络不参与所述控制器和所述驾驶员模型的权重分配过程，所述DQN智能体通过最后更新的策略网络实时分配所述控制器和所述驾驶员模型的权重。本发明在迭代过程中生成满足期望标准的智能体对驾驶员和控制器输出转角进行协调分配。

技术领域

本发明涉及无人驾驶领域中的一种人车协同转向控制方法，尤其涉及一种基于合作模式强化学习转角权重分配的人车协同转向控制方法。

背景技术

随着科学技术的日益发展，无人驾驶已经成为未来交通运输中不可或缺的部分。虽然理论上无人驾驶技术可以解决由于驾驶员误操作导致的事故问题，但是无论从现有技术水平还是从人文伦理角度出发，完全的自动驾驶会导致很多的问题，综合考虑，保持驾驶员实时在环的人车协同技术是十分有必要的。其中人车协同转角控制策略是研究的热点，但是现有的人车协同技术，大多是根据经验、考虑规则获得的策略。

发明内容

为解决现有的经验设定的人车协同转向转角分配策略耗时耗力的技术问题，本发明提供一种基于合作模式强化学习转角权重分配的人车协同转向控制方法。

本发明采用以下技术方案实现：一种基于合作模式强化学习转角权重分配的人车协同转向控制方法，其包括训练进行和训练结束两个部分；

训练进行时，无人驾驶汽车的驾驶员模型参与迭代训练过程，采用DQN智能体实时分配所述无人驾驶汽车的控制器和所述驾驶员模型的权重，并且通过所述无人驾驶汽车的车辆状态和评估网络实时对所述无人驾驶汽车的策略网络进行更新；

经过一定迭代次数以后，所述策略网络迭代完成，训练结束，保持最后更新的策略网络的网络参数不变，此时所述评估网络不参与所述控制器和所述驾驶员模型的权重分配过程，所述DQN智能体通过最后更新的策略网络实时分配所述控制器和所述驾驶员模型的权重。

作为上述方案的进一步改进，针对所述无人驾驶汽车，设计基于BP神经网络的驾驶员模型参与强化学习的自我迭代过程，所述自我迭代过程为：

定义所述BP神经网络的输入特征量s为：

其中，e_dis为所述无人驾驶汽车的横向误差；e_yaw为所述无人驾驶汽车的航向角误差；为所述无人驾驶汽车的横向误差变化率；为所述无人驾驶汽车的航向角误差变化率；k为路径曲率；

定义所述BP神经网络的第i层输出h_i为：

h_i＝σ_i(w_ih_i-1+b_i) (2)

其中，w_i表示第i层的网络权重；b_i表示第i层的网络偏差；σ_i为第i层的激活函数；h_i-1为第i-1层的神经元值；

定义所述BP神经网络的第一层输出h₁为：

h₁＝s (3)

定义驾驶员通过所述BP神经网络最终输出转角δ_f为：