[发明专利]一种构建驾驶策略的方法

说明书

本发明公开了一种构建驾驶策略的方法，具体包括如下步骤：S1，构建驾驶环境特征提取器，用于提取构建回报函数的特征；S2，构建回报函数生成器，用于驾驶策略的获取；S3，构建驾驶策略获取器，完成驾驶策略的构建；S4，判断获取器构建的最优驾驶策略，其是否满足评判标准；若不满足，则重复执行步骤S2重新构建回报函数，重复构建最优驾驶策略，反复迭代，直到满足评判标准；最终获得描述真实驾驶示范的驾驶策略。本申请可以对于新的状态场景进行适用，来获得其对应动作，大大提高了建立的驾驶员行为模型的泛化能力，适用场景更广，鲁棒性更强。

技术领域

本发明涉及一种构建驾驶策略的方法。

背景技术

传统的基于强化学习建立的驾驶员驾驶策略，利用已知驾驶数据分析、描述和推理驾驶行为，然而以采集的驾驶数据并不能完全覆盖无穷无尽的驾驶行为特征，更不可能获取全部状态对应动作的情况。在实际驾驶场景下，因为天气、场景、物体的不同，驾驶状态有着众多可能，遍历全部的状态是不可能的事情。因此传统驾驶员驾驶行为模型泛化能力弱，模型假设条件多，鲁棒性差。

其次，在实际的驾驶问题中，仅凭研究人员设置回报函数的方法，需要平衡太多对于各种特征的需求，完全依赖研究人员的经验设置，反复手动调解，耗时耗力，更致命的是过于主观。在不同场景和环境下，研究人员则需要面对太多的场景状态；同时，即使是针对某一个确定的场景状态，需求的不同，也会导致驾驶行为特征的变化。为了准确描述该驾驶任务就要分配一系列权重以准确描述这些因素。现有方法中，基于概率模型的逆向强化学习主要从现有的示范数据出发，把示范数据作为已有数据，进而寻求对应当前数据的分布情况，基于此才能求取对应状态下的动作选取。但已知数据的分布并不能表示全部数据的分布，正确获取分布，需要获取全部状态对应动作的情况。

发明内容

现有技术中所存在的对于驾驶场景不在示范数据的情况下，无法建立对应的回报函数来进行驾驶员行为建模的技术问题，本申请提供了一种构建驾驶策略的方法，可以对于新的状态场景进行适用，来获得其对应动作，适用场景更广，鲁棒性更强。

为了实现上述目的，本发明方案的技术要点是：一种构建驾驶策略的方法，具体包括如下步骤：

S1，构建驾驶环境特征提取器，用于提取构建回报函数的特征；

S2，构建回报函数生成器，用于驾驶策略的获取，具体通过如下步骤实现：

S21.获得专家的驾驶示范数据：

S22.求取驾驶示范的特征期望值；

S23.求取贪婪策略下的状态-动作集；

S24.求取回报函数的权值；

S3，构建驾驶策略获取器，完成驾驶策略的构建；

S4，判断获取器构建的最优驾驶策略，其是否满足评判标准；若不满足，则重复执行步骤S2重新构建回报函数，重复构建最优驾驶策略，反复迭代，直到满足评判标准；最终获得描述真实驾驶示范的驾驶策略。

进一步地，驾驶示范数据来自对于示范驾驶视频数据的采样提取，按照一定频率对一段连续的驾驶视频进行采样，得到一组轨迹示范；一个专家示范数据包括多条轨迹，总体记做：

D_E＝{(s₁,a₁),(s₂,a₂),...,(s_M,a_M)}其中D_E表示整体的驾驶示范数据，(s_j,a_j)表示对应状态j和该状态对应决策指令构成的数据对，M代表总共的驾驶示范数据的个数，N_T代表驾驶示范轨迹数目，L_i代表第i条驾驶示范轨迹中包含的状态-决策指令对(s_j,a_j)的个数。