[发明专利]基于DDPG的线控转向系统转向补偿控制方法及装置

说明书

本发明公开了一种基于DDPG的线控转向系统转向补偿控制方法及装置，建立线控转向系统的动作Actor网络和动作价值Critic网络，根据这两个网络构建深度确定性策略梯度学习算法框架；设计训练所需的奖励函数；根据奖励函数及深度确定性策略梯度学习算法框架建立深度确定性策略梯度算法；根据线控转向系统不同工况下的转向场景，对深度确定性策略梯度算法进行硬件在环及实车训练，调整深度确定性策略梯度算法Actor网络与Critic网络的参数，以使深度确定性策略梯度算法得到线控转向系统转角的补偿值。该方法无需了解线控转向系统底层控制器的控制策略，可以广泛适配于任意结构形式的线控转向系统，实现精确的转角控制。

技术领域

本发明涉及汽车转向系统技术领域，特别涉及一种基于DDPG的线控转向系统转向补偿控制方法及装置。

背景技术

随着传统汽车理论的逐渐成熟以及电子科技工业水平和控制技术迅速发展，当今汽车工业的发展主题已经逐渐转变为智能化、电子化。汽车的转向系统作为汽车的五大系统之一，用来控制汽车行驶方向，是车辆稳定性控制的重要一环。线控转向利用执行电机来实现前轮转角对目标转角的跟随控制，为自动驾驶提供了良好的硬件基础。

广义上来看，任何可以通过电信号控制而非通过驾驶员操纵的转向系统都可以看作SBW系统。如图1所示，转向系统中电机的可能安装位置有4个，即①转向管柱中间、②管柱末端、③和④转向齿条左右两端；管柱与齿条可以选择机械硬连接、离合软连接和完全分离，即⑤有三种形式。那么SBW的可能构型有3×2⁴-1＝47种。考虑到电机的类型可选无刷电机、永磁同步电机、双绕组电机等，传动机构可选蜗轮蜗杆、小齿轮、皮带轮、滚珠丝杠等之间的组合，SBW的最终方案有2000种以上。在实际控制过程中，线控转向系统的底层控制器的控制逻辑并不会开放给上层控制器，往往由车辆的上层控制器给出需要转向系统执行的目标前轮转角，通过控制器局域网(Controller Area Network，CAN)通讯将目标前轮转角发送给线控转向的底层控制器，由底层控制器通过控制执行电机来实现这一目标转角，整体过程如图2所示。由于实际控制过程中，系统存在通讯延迟、转向系统迟滞等问题，线控转向系统实际的输出转角与上层控制器给出的目标值往往存在一定的误差以及响应延迟。此外，由于不同线控转向系统的控制策略并不相同，其控制效果往往也是千差万别。然而在实际车辆控制过程中，即便是很小的转向角的误差也会对控制效果产生很大的影响，尤其是在高速等极限工况下，前轮转角的误差极易引起车辆的失稳。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种基于DDPG的线控转向系统转向补偿控制方法，该方法无需了解线控转向系统底层控制器的控制策略，可以广泛适配于任意结构形式的线控转向系统。

本发明的另一个目的在于提出一种基于DDPG的线控转向系统转向补偿控制装置。

为达到上述目的，本发明一方面实施例提出了一种基于DDPG的线控转向系统转向补偿控制方法，包括：

S1，建立线控转向系统的动作Actor网络和动作价值Critic网络，根据所述动作Actor网络和所述动作价值Critic网络构建深度确定性策略梯度学习算法框架；

S2，设计训练所需的奖励函数；

S3，根据所述奖励函数及所述深度确定性策略梯度学习算法框架建立深度确定性策略梯度算法；

S4，对所述深度确定性策略梯度算法进行硬件在环及实车训练，调整所述深度确定性策略梯度算法Actor网络与Critic网络的参数，以使所述深度确定性策略梯度算法得到目标转角补偿值。

另外，根据本发明上述实施例的基于DDPG的线控转向系统转向补偿控制方法还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述S1进一步包括：