[发明专利]基于MPC和Q-Learning算法的混合动力汽车分层控制方法

权利要求书

1.一种基于MPC和Q-Learning算法的混合动力汽车分层控制方法，其特征在于：包括以下步骤：

S1.采集行车队列参数以及行车队列中第i辆车的车辆参数；其中：行车队列参数包括第i辆车的前车位置信息和前车速度信息；第i辆车的车辆参数包括车速和加速度；

S2.构建MPC预测控制模型，并根据行车队列参数和自身车辆参数确定出第i辆车的期望加速度；

S3.根据第i辆车的期望加速度确定出第i辆车的期望速度；

S4.构建Q-Learning网络，将第i辆车的期望速度、需求功率以及电池电量状态输入Q-Learning网络中进行处理，输出第i辆车的电机的最优转矩，并基于最优转矩控制混合动力汽车工作。

2.根据权利要求1所述基于MPC和Q-Learning算法的混合动力汽车分层控制方法，其特征在于：步骤S2中具体包括：

S21.构建第i辆车的状态变量x和动作变量u，其中：

x＝[e_s e_v a_i v_i]^T，u＝a_des，e_s为第i辆车与前车的车间距误差，e_v为第i辆车与前车的速度误差，a_i为第i辆车的加速度，v_i为第i辆车的速度，a_des为第i辆车的期望加速度；

S22.根据步骤S1确定的状态变量和动作变量建立第i辆车的状态方程：

其中，A和B为系数矩阵，且：

t_h为第i辆车与前车的车头时距，τ表示车辆动力部件的时间常数；

S23.采用前向欧拉法对步骤S2中的状态方程进行离散处理，得到离散状态方程：

其中，k为当前采样时刻，k+1位下一采样时刻，T_s为采样周期；

令状态向量ξ(k|k)＝[x(k|k) u(k-1)]^T，将公式(2)转换为：

其中，I_m为单位矩阵，m＝4,n＝1,且：u(k+i)＝u(k+i-1)+△u(k)；

S24.基于公式(3)建立MPC预测输出状态方程：

Y(k)＝Φξ(k|k)+Θ△U (4)；

△U＝[△u(k) △u(k+1) … △u(k+N_c)]^T (5)

其中：N_c为控制时域，N_p为预测时域且N_c≤N_p；

S25.构建性能指标函数为：

其中，y_ref(k+i|k)为k时刻的k+i步的参考输出，Q为误差加权矩阵，R为输入加权矩阵，y_p(k+i|k)表示k时刻第k+i步的预测输出；

将公式(4)代入至公式(6)中后化简得到：

H(k)＝Θ^TQΘ+R,f＝Θ^TQ(Φξ(k)-Y_ref(k))；

S26.基于公式(7)构建如下方程：

采用MATLAB软件中的二次规划求解器对公式(8)进行求解，得到最优可行解：

其中，公式(9)中的各项即为第i辆车的各个时刻的期望加速度，并将其中第一项u^*(k)输入至Q-Learning网络中。