[发明专利]一种基于A3C算法的混合动力系统能量管理方法

权利要求书

1.一种基于A3C算法的混合动力系统能量管理方法，其特征在于，包括以下步骤：

步骤1：建立A3C代理模型；

步骤2：设置A3C代理模型的状态、动作和回报，得到设置后的A3C代理模型；

步骤3：获取相关训练数据集，根据获得的相关训练数据集训练所述A3C代理模型得到训练后的A3C代理模型；

步骤4：使用训练后的A3C代理模型进行混合动力车辆的能量管理。

2.根据权利要求1所述的基于A3C算法的混合动力系统能量管理方法，其特征在于，步骤1中所述A3C代理模型包括：全局神经网络与局部神经网络，所述局部神经网络负责与环境进行交互，并且计算累计损失梯度，并将累计损失梯度传递给全局神经网络，所述全局神经网络负责参数更新，在全局神经网络参数更新完成后，局部神经网络同步全局神经网络的参数。

3.根据权利要求2所述的基于A3C算法的混合动力系统能量管理方法，其特征在于，所述全局神经网络与局部神经网络的神经网络结构一样，都包含Actor网络与Critic网络。

4.根据权利要求1所述的基于A3C算法的混合动力系统能量管理方法，其特征在于，步骤2中所述状态量为：汽车车速v，汽车加速度a和动力电池SOC，状态变量向量为s＝{v,a,SOC}^T；发动机转矩T_e为动作变量，动作变量向量为a＝{T_e}^T；奖励函数被用于评价在当前状态s_t下执行动作a_t的表现性能，奖励函数定义为成本函数的负值，奖励函数如公式(1)所示：

r＝-{fuel(t)+α[SOC_ref-SOC(t)]²} (1)

其中，fuel(t)为当前时刻下汽车的燃油消耗，SOC_ref为期望SOC的参考值，SOC(t)为当前时刻电池SOC值，α为电池充电维持的权重。

5.根据权利要求1所述的基于A3C算法的混合动力系统能量管理方法，其特征在于，步骤3具体包括以下步骤：

步骤A：初始化所述设定后的A3C代理模型得到初始化后的A3C代理模型；

步骤B：将初始化后的A3C代理模型与混的动力汽车进行交互，得到训练数据集；

步骤C：根据所述训练数据集对A3C代理模型进行训练，最终得到训练后的A3C代理模型。

6.根据权利要求5所述的基于A3C算法的混合动力系统能量管理方法，其特征在于，步骤A具体包括：分别初始化所述设定后的A3C代理模型中的全局神经网络参数与局部神经网络参数，其中全局神经网络中的Actor网络与Critic网络参数分别用θ和ω表示；局部神经网络中的Actor网络与Critic网络参数分别用θ′和ω′表示，累计梯度dθ←0和dω←0，最终得到初始化后的A3C代理模型。