[发明专利]一种构建驾驶策略的方法

权利要求书

1.一种构建驾驶策略的方法，其特征在于，具体包括如下步骤：

S1，构建驾驶环境特征提取器，用于提取构建回报函数的特征；

S2，构建回报函数生成器，用于驾驶策略的获取，具体通过如下步骤实现：

S21.获得专家的驾驶示范数据：

S22.求取驾驶示范的特征期望值；

S23.求取贪婪策略下的状态-动作集；

S24.求取回报函数的权值；

S3，构建驾驶策略获取器，完成驾驶策略的构建；

S4，判断获取器构建的最优驾驶策略，其是否满足评判标准；若不满足，则重复执行步骤S2重新构建回报函数，重复构建最优驾驶策略，反复迭代，直到满足评判标准；最终获得描述真实驾驶示范的驾驶策略；

步骤S21.获得专家的驾驶示范数据具体为：驾驶示范数据来自对于示范驾驶视频数据的采样提取，按照一定频率对一段连续的驾驶视频进行采样，得到一组轨迹示范；一个专家示范数据包括多条轨迹，总体记做：其中D_E表示整体的驾驶示范数据，(s_j,a_j)表示对应状态j和该状态对应决策指令构成的数据对，M代表总共的驾驶示范数据的个数，N_T代表驾驶示范轨迹数目，L_i代表第i条驾驶示范轨迹中包含的状态-决策指令对(s_j,a_j)的个数；

S22.求取驾驶示范的特征期望值具体为；首先将驾驶示范数据D_E中的各个描述驾驶环境情况的状态s_t输入S1中的状态特征提取器中，获得对应状态s_t下的特征情况f(s_t,a_t)，f(s_t,a_t)代指一组对应s_t的影响驾驶决策结果的驾驶环境场景特征值，然后基于下述公式计算出来驾驶示范的特征期望值：

其中γ为折扣因子，根据问题的不同，对应进行设置；

由于步骤S2与S3是循环的两部分；

首先，获取驾驶策略获取器中的神经网络：把驾驶示范数据D_E提取得到的描述环境情况的状态特征f(s_t)，输入神经网络，得到输出g_w(s_t)；g_w(s_t)是关于描述状态s_t的一组Q值集合，即[Q(s_t,a₁),...,Q(s_t,a_n)]^T，而Q(s_t,a_i)代表状态-动作值，用于描述在当前驾驶场景状态s_t下，选取决策驾驶动作a_i的优劣，基于公式Q(s,a)＝θ·μ(s,a)进行求得，该公式中的θ代指当前回报函数中的权值，μ(s,a)代指特征期望值。

然后基于ε-greedy策略，进行选取描述驾驶场景状态s_t对应的驾驶决策动作选取关于当前驾驶场景s_t下的Q值集合中让Q值最大的决策动作否则，则随机选取选取完之后，记录此时的

如此对于驾驶示范D_E中的每个状态的状态特征f(s_t,a_t)，输入该神经网络，共获取得到M个状态-动作对(s_t,a_t)，其描述了t时刻的驾驶场景状态s_t下选取驾驶决策动作a_t；同时基于动作选取的情况，获取了M个对应状态-动作对的Q值，记做Q。

2.根据权利要求1所述一种构建驾驶策略的方法，其特征在于，求取回报函数的权值具体步骤是：

首先基于下面公式，构建目标函数：

代表损失函数，即依据当前状态-动作对是否存在于驾驶示范之中，若存在则为0，否则为1；为上面所记录的对应状态-动作值；为S22中求取的驾驶示范特征期望和回报函数的权值θ的乘积；为正则项；

借助梯度下降法最小化该目标函数，即t＝min_θJ(θ)，获取令该目标函数最小化的变量θ，该θ即所求取的所需的回报函数的权值。