[发明专利]一种基于A3C算法的混合动力系统能量管理方法

说明书

本发明公开了一种基于A3C算法的混合动力系统能量管理方法，属于混合动力汽车能量管理领域，在保证汽车动力性的前提下，通过异步优势动作‑评价方法不仅可以解决Actor和Critic相关性问题，而且还可以解决经验回放池样本的相关性问题，可以实现在保证汽车燃油经济性的基础上，实现神经网络的快速收敛。本发明方法主要包括：建立A3C代理模型；设置A3C代理模型的状态、动作和回报，得到设置后的A3C代理模型；获取相关训练数据集，根据获得的相关训练数据集训练所述A3C代理模型得到训练后的A3C代理模型；使用训练后的A3C代理模型进行并联式混合动力车辆的能量管理。

技术领域

本发明属于混合动力汽车能量管理领域，尤其涉及一种基于A3C算法的混合动力系统能量管理方法。

背景技术

能源是人类社会赖以生存和发展的重要物质基础。近几年，随着汽车工业的快速发展，能源短缺与环境污染问题越来越严重，能源在汽车上的使用也引起了社会各界的关注。为了更好的解决能源短缺与环境污染问题，混合动力汽车逐渐出现在现代市场上。一般来说，混合动力汽车由内燃机和电机两部分动力源组成，因此能量管理系统对于混合动力汽车而言必不可少。能量管理系统可以协同多个能量源的相互合作，以减少能源消耗与温室气体排放。但是，对于一个复杂的系统，开发一个高效的能量管理控制器去协同能源管理系统的工作是一项非常艰巨而具有挑战的任务。

现如今，在HEV上应用的能量管理策略大致可以分为三类：基于规则的方法，基于优化的方法和基于学习的方法。基于规则的能量管理策略具有技术难度低、在线计算量小和实时性高的性能，故被广泛应用于混合动力汽车能量管理工业领域，但是相关规则的制订需要依靠专家经验完成，同样基于规则的控制策略对工况较为敏感，缺乏一定的适应性，鲁棒性比较差，同样也无法保证最优性；二是基于优化的能量管理策略，基于全局优化的能量管理策略具有可以获取全局最优的优点，但是同时具有需要全局工况已知和计算时间长的缺点，因此无法应用于汽车的实时控制中，这些策略一般用做其他控制策略的测试基准。虽然现有的能量管理策略可以实现很好的性能，但是它们仍然存在计算量大和对工况适应性差的缺点；为了实现汽车能量管理系统更好的性能，近几年，基于学习的算法开始涌现，尤其是Actor-Critic。

但是Actor-Critic方法也存在很多问题，Actor-Critic需要通过蒙特卡洛法计算Q值，需要完整的状态序列并且只能单独对策略进行迭代更新，Actor网络与Critic网路都需要同时进行更新，二者之间相关依赖，关联性强，导致出现不易收敛的情况，为了解除Actor与Critic之间的相关性，提出了DDPG算法，该算法采用双神经网络结构，同时引入经验回放池以便神经网络进行更新迭代，但是DDPG中的经验回放池内的样本仍然具有一定的相关性。因此，更好的解决样本之间相关性问题，可以实现神经网络的快速收敛，同时可以有效提高基于深度强化学习能量管理策略的控制效果，提高汽车整车性能。

发明内容

本发明提供了一种基于A3C算法的混合动力系统能量管理方法，在保证汽车动力性的前提下，通过A3C方法不仅可以解决Actor和Critic相关性问题，而且还可以解决经验回放池样本的相关性问题，可以实现在保证汽车燃油经济性的基础上，实现神经网络的快速收敛。

为了实现以上目的，本发明采用以下技术方案：

一种基于A3C算法的混合动力系统能量管理方法，包括以下步骤：

步骤1：建立A3C代理模型；

步骤2：设置A3C代理模型的状态、动作和回报，得到设置后的A3C代理模型；

步骤3：获取相关训练数据集，根据获得的相关训练数据集训练所述A3C代理模型得到训练后的A3C代理模型；

步骤4：使用训练后的A3C代理模型进行并联式混合动力车辆的能量管理。