[发明专利]车辆轨迹评价网络模型的训练方法、装置和存储介质

说明书

本发明涉及一种车辆轨迹评价网络模型的训练方法、装置和存储介质，训练方法包括：获取实车数据；以实车数据为基础，通过路径规划算法和采样算法生成采样规划轨迹；获取人类驾驶员驾驶车辆形成的专家规划轨迹；将采样规划轨迹和专家规划轨迹转换为多维时间序列，得到样本数据集；以样本数据集为基础，训练得到评价网络模型。与现有技术相比，本发明基于采集的实车数据得到采样规划路径，结合人类驾驶员驾驶车辆形成的专家规划路径得到样本数据集，基于样本数据集训练得到评价网络模型，越符合人类驾驶经验的规划轨迹在评价网络模型中的代价越低，这样能够更加客观的对驾驶时的候选轨迹进行评价，得到更贴合人类实际驾驶的候选轨迹。

技术领域

本发明涉及智能驾驶领域，尤其是涉及一种车辆轨迹评价网络模型的训练方法、装置和存储介质。

背景技术

随着社会的发展，汽车保有量持续增加，自动驾驶也越来越受到各界的关注，在学界和产业界大力投入下获得飞速发展。决策规划作为自动驾驶的重要模块，负责提供自动驾驶车辆在未来一段时间内(即规划周期内)的规划轨迹。自动驾驶车辆的决策规划存在以下难点：需要覆盖多场景，同时遵守交通规则以及保证安全性和舒适性。各国学者引入了许多先进方法来解决自动驾驶车辆的决策规划问题，例如传统轨迹规划方法，基于模仿学习的轨迹规划方法，基于强化学习的方法，基于视觉特征的模型等，但是，现有的车辆轨迹规划方法都存在着不足之处。

传统轨迹规划方法通过优化预先设定的代价函数来获得规划轨迹，对驾驶过程中的每一种场景都要进行大量的定制化的建模与分析，严重阻碍了轨迹规划模块在多种场景下的部署，增加了轨迹规划模块的维护问题。基于模仿学习的方法将专家轨迹和采样的轨迹经过预设的计算形式得到特征向量，使用模仿学习获得评价特征向量的评价网络，通过评价网络获得最优规划轨迹作为推荐轨迹，尽管融入了专家的先验知识，但是在轨迹评价方式上仍然选择手动设计的评价函数，这些评价函数严重依赖根据经验设置的超参数，鲁棒性很差，在泛化性能上严重依赖于数据集的多样性。基于强化学习的方法难以找到一个最优的奖励函数，并且受限于安全性的限制，一般在仿真环境内完成训练过程，很少使用真实环境数据训练，造成模型偏离真实数据分布，在真实环境中容易做出错误的决策。基于视觉特征的模型容易受数据分布迁移的影响，比如在虚拟环境中训练的模型，由于Domaingap(域差异)，在真实环境下表现很差。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种车辆轨迹评价网络模型的训练方法、装置和存储介质，以采集的实车数据为基础，得到采样规划轨迹和人类驾驶员的专家规划轨迹作为样本数据集，通过网络结构搜索的方式确定评价网络模型的结构，训练评价网络模型，越符合人类驾驶经验的规划轨迹在评价网络模型中的代价越低，且采样规划轨迹与专家规划轨迹的代价的间隔最大，这样得到的评价网络模型可以找到最符合人类驾驶经验的规划轨迹。

本发明的目的可以通过以下技术方案来实现：

一种车辆轨迹评价网络模型的训练方法，包括以下步骤：

获取样本数据集，所述样本数据集是基于多条采样规划轨迹和多条人类驾驶员驾驶车辆形成的专家规划轨迹得到的；

初始化生成评价网络模型；

以样本数据集为基础，训练所述评价网络模型，使得专家规划轨迹在评价网络模型中的代价最低，且专家规划轨迹与采样规划轨迹在评价网络模型中的代价的间隔最大。

进一步的，获取样本数据集的过程如下：获取包含多组实车数据的原始数据集，以原始数据集为基础，通过路径规划算法和采样算法生成多条采样规划轨迹；获取多条人类驾驶员驾驶车辆形成的专家规划轨迹；将采样规划轨迹和专家规划轨迹转换为多维时间序列，得到样本数据集。

更进一步的，所述实车数据包括道路信息、自车状态信息和障碍物信息。