[发明专利]基于TD3多目标HEV能量管理方法及系统

说明书

公开了一种基于双延迟深度确定性策略梯度多目标HEV能量管理方法及系统。本发明创新地使用双延迟深度确定性策略梯度策略，解决基于离散动作空间深度强化学习能量管理策略维度灾难问题和深度确定性策略梯度过估计问题。而且将燃油消耗、电池温度和电池寿命(SOH)作为优化目标，提高能量管理策略的实用价值。

技术领域

本发明涉及深度强化学习算法提高新能源汽车燃油经济性和电池使用寿命，尤其涉及一种基于双延迟深度确定性策略梯度(Twin Delayed Deep Deterministic PolicyGradient,TD3)的并联混合动力车辆(HEV)多目标能量管理方法。

背景技术

能源危机和气候变化已经引起了世界各国的广泛关注，车辆的燃油消耗和尾气排放是不可忽视的关键因素。为了缓解严峻的能源危机和气候变化，车辆电动化是未来汽车工业发展的必由之路。在新能源汽车中，混合动力汽车由于相比于传统燃油汽车需要更少的燃料，相比于纯电动汽车具有更远的行驶里程，成为目前最行之有效的解决方案。但是混合动力车辆能量管理系统非常复杂，既要恰当地分配发动机功率和电机功率，又要全面保障车辆的驾驶性能和经济性，其能量管理方法涵盖了传统汽车、纯电动汽车和油电混合汽车能量管理多方面的内容，成为国内外汽车领域广泛研究的焦点。

能量管理策略主要可以分为三类。a)基于规则的能量管理策略，其依赖于通过专业经验制定的规则集合而且不需要预知驾驶工况，虽然实用性强，但是基于规则的能量管理往往不能达到车辆的最优控制，且针对的驾驶工况单一。二进制控制策略是一种典型的基于规则的控制策略，该策略首先用电池的能量驱动车辆行驶，当电池SOC值达到设定的最低值，转换到发动机驱动车辆。b)基于优化的能量管理策略，例如动态规划策略(DP),凸优化，遗传算法，其根据已知的或预测的车辆行驶工况对车辆进行最优控制，能够获得车辆在特定工况循环下的最优或者接近最优结果，但是需要预知车辆的全部行驶工况，耗用的计算资源很大，无法用于实时控制。为了提高能量管理策略的实用性，实时在线优化策略得到广泛的研究,例如，模型预测控制(MPC)，庞特里亚金最小值原理(PMP)和等效燃油消耗策略(ECMS)。但是由于采用部分历史信息计算系统的等效燃油消耗，历史信息不一定能代表未来的行驶状态，导致这种算法的鲁棒性不好。需要采用性能更好的策略弥补上述算法的缺陷。c)基于学习的能量管理策略。机器学习(数据驱动优化)，特别是近年来发展起来的深度强化学习(Deep Reinforcement Learning)算法，为系统模型及控制参数优化、道路工况特征以及驾驶行为特征提取提供了有力的研究工具。在强化学习算法中，Q Learning和DeepQ Network(DQN)等离散动作空间强化学习算法使用最为广泛，但是上述算法只适用于离散的和低维的动作空间，HEV能量管理控制任务具有高维和连续的动作空间。上述算法需要将动作空间离散化，这样做不可避免地丢失动作空间的重要的信息而且还会构成维度灾难(curse of dimensionality)问题。深度确定性策略梯度(DDPG)等连续动作空间的强化学习算法可以很好地处理连续的动作空间而不需要进行离散化，但是深度确定性策略梯度存在过估计问题，估计的值函数往往大于真实的值函数，影响该能量管理策略的稳定性,算法的鲁棒性差。

此外，目前的能量管理策略仅片面地改善了车辆的燃油经济性，忽略了控制策略对电池的寿命影响。众所周知，电池系统的使用寿命与操作工况和电池温度息息相关，电池内部温度过高会导致热击穿。能量管理策略必须考虑这些重要的因素，否则没有实际应用价值。

发明内容

本发明提供一种基于双延迟深度确定性策略梯度多目标HEV能量管理方法及系统。该方法及系统使用两套网络表示值函数和延迟更新技术可以很好地解决过估计问题。将车辆燃油消耗、电池SOC、电池温度和电池寿命(State of Health,SOH)作为优化目标，构建多目标优化能量管理策略，使车辆工作在真实最优状态，提高能量管理策略的实用价值。

本发明的至少一个实施例提供一种HEV能量管理方法，包括：