[发明专利]车辆的控制方案生成方法、装置、存储介质和电子设备

说明书

本公开涉及一种车辆的控制方案生成方法、装置、存储介质和电子设备，该方法包括：通过车辆的预设行驶状态模型和HJB函数建立包括两个回声状态网的自适应动态规划算法模型；循环执行根据上述两个回声状态网输出的代价函数和控制策略，以及利用该HJB函数获取到的近似误差，对上述两个回声状态网的输出权值进行更新的步骤，直至获取能够使该近似误差最小化的目标控制策略输出权值；将该车辆当前的行驶状态模型作为具备该目标控制策略输出权值的回声状态网的输入，得到目标控制策略，作为车辆的控制方案。通过经过更新的回声状态网获取自动驾驶所需的控制策略，减少控制策略生成过程中的计算量和复杂度，增强自适应动态规划算法的实际应用能力。

技术领域

本公开涉及自动驾驶领域，具体地，涉及一种车辆的控制方案生成方法、装置、存储介质和电子设备。

背景技术

随着V2X(Vehicle to Everything，车对外界的信息交换)车联网技术的推广应用，在现代交通系统中，车辆对周围环境的感知能力大幅提升。V2X技术可以提供给车辆精准的位置、速度和加速度等信息。利用V2X技术可以预见性地判断车辆环境，从而提前计算车辆的最优控制策略，对车辆的自动控制提供帮助。最优控制策略是考虑车辆运行过程中的综合因素，包括最短路径、最快时间和最少能耗，通过这些综合因素可以建立相应的控制指标，并通过最小化控制指标从而获取最优控制策略，进而实现既保证车辆安全，又节能减排的目的。相关技术中，可以根据车辆实际运动情况对车辆进行建模，其中，车辆的行驶状态模型中的行驶参数为根据车辆实际运行情况确定的车辆行驶信息，基于该模型的控制算法可以为车辆提供精准的实时控制。然而，根据实际情况建立的行驶状态模型具有一定的非线性特性，导致其在控制过程中比线性系统更加复杂。在求解非线性系统的最优控制策略时，系统方程的非线性特性导致其解析解很难被得到。

发明内容

为克服相关技术中存在的问题，本公开的目的是提供一种车辆的控制方案生成方法、装置、存储介质和电子设备。

为了实现上述目的，根据本公开实施例的第一方面，提供一种车辆的控制方案生成方法，所述方法包括：

通过车辆的预设行驶状态模型和HJB函数建立自适应动态规划算法模型，所述自适应动态规划算法模型包括第一回声状态网与第二回声状态网，所述第一回声状态网用于生成控制车辆所需的目标代价函数，所述第二回声状态网用于生成控制车辆所需的目标控制策略；

循环执行根据所述第一回声状态网输出的代价函数、所述第二回声状态网输出的控制策略，以及利用所述HJB函数获取到的近似误差，对所述第一回声状态网的代价函数输出权值以及所述第二回声状态网的控制策略输出权值进行更新的步骤，直至将所述控制策略输出权值更新为能够使所述近似误差最小化的目标控制策略输出权值；

在将所述目标控制策略输出权值作为所述第二回声状态网的控制策略输出权值后，获取所述车辆在当前时刻的目标行驶状态模型作为所述第二回声状态网的输入，以得到所述第二回声状态网输出的所述目标控制策略，作为车辆在当前时刻的控制方案。

可选的，所述通过车辆的预设行驶状态模型和HJB函数建立自适应动态规划算法模型，包括：

根据代价函数近似方程，建立所述第一回声状态网，所述代价函数近似方程为以所述预设行驶状态模型为变量，以随机生成的第一储备池矩阵与第一输入权值以及预先设定的第一储备池状态、第一储备池泄漏率与第一代价函数输出权值作为参数的方程；

根据控制策略近似方程，建立所述第二回声状态网，所述控制策略近似方程为以所述预设行驶状态模型作为变量，以随机生成的第二储备池矩阵与第二输入权值以及预先设定的第二储备池状态、第二储备池泄漏率与第一控制策略输出权值作为参数的方程；

根据所述第一回声状态网、所述第二回声状态网以及所述HJB函数创建所述自适应动态规划算法模型，其中所述第一回声状态网和所述第二回声状态网的输出作为所述HJB函数的输入。