[发明专利]基于机器视觉和深度学习的混合动力汽车能量管理方法

权利要求书

1.一种基于机器视觉和深度学习的混合动力汽车能量管理方法，其特征在于，包括以下步骤：

步骤1：建立基于卷积神经网络的目标检测方法，从车载摄像机中提取可用的视觉信息，进一步建立基于摄像机和卷积神经网络的视觉处理模块；

步骤2：利用深度学习算法，建立基于深度学习算法的混合动力汽车能量管理方法；

步骤3：利用深度确定性策略梯度算法，构建深度确定性策略梯度控制器；

步骤4：将视觉处理模块和基于深度学习的混合动力汽车能量管理方法相结合，通过深度确定性策略梯度控制器，建立基于机器视觉和深度学习的混合动力汽车能量管理方法，实现在线实时控制车辆的功率分配。

2.根据权利要求1所述的一种基于机器视觉和深度学习的混合动力汽车能量管理方法，其特征在于：所述步骤1中，建立基于卷积神经网络的目标检测方法，包括：输入车载传感器检测的图像、YOLO网络结构和YOLO检测系统；YOLO网络结构包括YOLOv3，YOLOv3为含有53个卷积层的网络结构；其中，YOLO检测系统包括：车辆检测、红灯检测和绿灯检测。

3.根据权利要求1所述的一种基于机器视觉和深度学习的混合动力汽车能量管理方法，其特征在于：所述步骤2中，基于深度学习算法的混合动力汽车能量管理方法可看作马尔可夫决策过程，具体包括以下步骤：

步骤A：定义深度强化学习中的状态、动作、奖励函数、最优动作-值函数以及最优控制策略；

步骤B：深度强化学习agent接收环境观测值，并根据当前控制策略对执行一个动作；

步骤C：环境对此动作做出响应，又进入一个新的状态，并将新的状态和此动作所带来的奖励返回深度强化学习agent；

步骤D：在新的状态中，agent又将继续执行动作，以此类推，深度强化学习agent与环境不断地交互，直到得到最优动作-值函数(Q值)以及最优控制策略。

4.根据权利要求3所述的一种基于机器视觉和深度学习的混合动力汽车能量管理方法，其特征在于：所述步骤A中确定深度强化学习中的状态和动作，奖励函数、最优动作-值函数以及最优控制策略；具体包括：状态分别为视觉处理模块提供的视觉信息、当前时刻汽车的车速、当前时刻汽车加速度以及动力电池荷电状态SOC；动作为由连续变量组成的发动机和电机的输出功率；定义奖励函数，包含低油耗和SOC稳定性两部分，所述奖励函数reward的具体计算公式为：

上式中，R(s,a)为在状态s下选择行动a的奖励函数；R₁(s,a)为奖励函数reward 1；R₂(s,a)为奖励函数reward 2；cost为发动机燃油消耗量；t∈[0.T]表示时间范围；γ为正权重因子；SOC(t)为t时刻下动力电池荷电状态；SOC_r为一个预先指定的常数，用于维持电荷；

最优动作-值函数的具体计算公式为：

Q^*(s,a)＝Q_π(s,a)＝max E[R_t+1+λQ^*(s_t+1,a_t+1)|s_t,a_t]

上式中，Q_π(s,a)是在策略π状态s下选择行动a的动作-值函数；s_t,a_t为时刻t下的状态，动作；s_t+1,a_t+1,R_t+1为时刻t+1下的状态，动作以及奖励函数；λ∈[0,1]为折扣因子；

最优控制策略π^*满足具体计算公式为

5.根据权利要求1所述的一种基于机器视觉和深度学习的混合动力汽车能量管理方法，其特征在于：所述步骤3中，深度确定性策略梯度控制器的构建包括以下步骤，

步骤A：定义深度确定性策略梯度中的行为策略behavior policy；

步骤B：建立基于策略的神经网络和基于价值的神经网络,完成对深度确定性策略梯度控制器的构建。