[发明专利]基于驾驶环境构建驾驶策略的系统

权利要求书

1.基于驾驶环境构建驾驶策略的系统，其特征在于，具体包括：特征提取器，提取构建回报函数的特征；回报函数生成器，获取驾驶策略；驾驶策略获取器，完成驾驶策略的构建；判定器，判断获取器构建的最优驾驶策略，其是否满足评判标准；若不满足，则重新构建回报函数，重复构建最优驾驶策略，反复迭代，直到满足评判标准；最终获得描述真实驾驶示范的驾驶策略；

所述回报函数生成器，包括获得专家的驾驶示范数据模块、求取驾驶示范的特征期望值模块、求取贪婪策略下的状态-动作集模块、求取回报函数的权值模块；

驾驶示范数据来自对于示范驾驶视频数据的采样提取，按照一定频率对一段连续的驾驶视频进行采样，得到一组轨迹示范；一个专家示范数据包括多条轨迹，总体记做：

D_E＝{(s₁,a₁),(s₂,a₂),...,(s_M,a_M)}其中D_E表示整体的驾驶示范数据，(s_j,a_j)表示对应状态j和该状态对应决策指令构成的数据对，M代表总共的驾驶示范数据的个数，N_T代表驾驶示范轨迹数目，L_i代表第i条驾驶示范轨迹中包含的状态-决策指令对(s_j,a_j)的个数；

首先将驾驶示范数据D_E中的各个描述驾驶环境情况的状态s_t输入状态特征提取器中，获得对应状态s_t下的特征情况f(s_t,a_t)，f(s_t,a_t)代指一组对应s_t的影响驾驶决策结果的驾驶环境场景特征值，然后基于下述公式计算出来驾驶示范的特征期望值：

其中γ为折扣因子，根据问题的不同，对应进行设置；

求取贪婪策略下的状态-动作集模块具体为：由于回报函数生成器与驾驶策略获取器是循环的两部分；

首先，获取驾驶策略获取器中的神经网络：把驾驶示范数据D_E提取得到的描述环境情况的状态特征f(s_t)，输入神经网络，得到输出g_w(s_t)；g_w(s_t)是关于描述状态s_t的一组Q值集合，即[Q(s_t,a₁),...,Q(s_t,a_n)]^T，而Q(s_t,a_i)代表状态-动作值，用于描述在当前驾驶场景状态s_t下，选取决策驾驶动作a_i的优劣，基于公式Q(s,a)＝θ·μ(s,a)进行求得，该公式中的θ代指当前回报函数中的权值，μ(s,a)代指特征期望值；

然后基于ε-greedy策略，进行选取描述驾驶场景状态s_t对应的驾驶决策动作选取关于当前驾驶场景s_t下的Q值集合中让Q值最大的决策动作否则，则随机选取选取完之后，记录此时的

如此对于驾驶示范D_E中的每个状态的状态特征f(s_t,a_t)，输入该神经网络，共获取得到M个状态-动作对(s_t,a_t)，其描述了t时刻的驾驶场景状态s_t下选取驾驶决策动作a_t；同时基于动作选取的情况，获取了M个对应状态-动作对的Q值，记做Q。