[发明专利]一种基于深度强化学习的多模型目标状态预测方法及系统

说明书

一种基于深度神经网络和强化学习的多模型目标状态预测方法，有效应对多模型融合的复杂的强非线性环境表达与目标状态长时间预测问题，有助于提高目标状态预测精度和预测时长，实现多模型融合的在线参数自修正。该专利提供的标定方法具有优势：1）自适应环境场景变化，自调节多模型目标状态预测参数；2）提高目标状态预测精度；3）提高目标状态预测时间长度；4）在线自学习多模型预测参数，提高动态场景下目标状态预测精度。

技术领域

本发明涉及一种面向智能驾驶系统的目标状态预测方法及系统，特别是关于一种基于深度强化学习的多模型目标状态预测方法及系统。

背景技术

智能驾驶车辆对交通安全，交通效率以及环保节能等有着积极的作用。智能驾驶车辆是通过感知系统，感知驾驶环境参数，识别目标类型；通过认知系统提高对驾驶环境的理解如驾驶行为意图等的理解，对未来环境变化进行估计和预测，判断其它道路使用者如车辆和行人的决策机制，对环境做出正确的理解；通过决策系统以及执行系统完成驾驶行为及路径规划，实现驾驶操作任务。其中，环境认知技术是对环境的深层理解，像人一样，通过分析周围车辆的驾驶行为，考虑其它道路使用者的意图和决策机制，对驾驶环境的变化进行估计、判断和预测，提高智能驾驶车辆在复杂环境下的决策水平和能力。只有实现了智能驾驶车辆对环境的深层次理解和认知，并正确地判断和预测周围环境的变化，才能实现真正的“智能”驾驶，有效应对复杂的驾驶环境。环境目标状态预测环境理解与认知的重要部分，是对未来一段时间内目标姿态进行预测，以判断和预测周围环境的变化，为智能驾驶在复杂交通环境下的决策提供基础。同时，精确的目标状态预测能够有效提高目标检测与跟踪的鲁棒性，解决目标遮挡与一定时间内丢失的问题。

目前，针对目标状态预测方法研究较多。预测主要包括短时间预测和长时间预测。其中，短时间预测主要是基于车辆动力学或者运动学方法，假设某些运动变量比如行车速度、加速度、横摆角速度等保持不变的情况下进行预测。短时间预测虽然预测时间短，但是在较短时间内，其预测结果较准确。长时间预测主要是基于行为认知进行预测，在考虑运动参数的条件下，对车辆行为进行估计，根据行为概率分布，预测某一段时间内车辆的轨迹变化。基于行为认知的预测方法能够在较长的一段时间内进行预测。然而，基于行为认知的预测方法在短时间内预测误差较大。

现阶段针对智能驾驶技术，目标轨迹预测存在以下几个方面的问题：1)预测精度低，无法应对复杂场景下的预测精度；2)可预测时间短；3)无法自适应各自场景进行自学习的融合多种预测方法。近年来强化学习以及深度强化学习方法广泛应用于智能驾驶领域，能够有效应对复杂的强非线性问题，而多模型目标状态预测问题就是一个强非线性的优化问题。将深度强化学习应用于多模型融合的目标状态预测，实现目标状态多场景多模型融合的长时高精度预测。但相关工作暂未有人开展。

发明内容

针对现有技术存在的不足，本发明的目的在于提供一种基于深度强化学习的多模型目标状态预测方法，利用深度强化学习网络在线实时估计多模型预测权重，提高智能驾驶系统对环境的预测能力，增强环境感知鲁棒性和理解能力，为智能驾驶系统的决策与控制提供基础。

为实现上述目的，本发明提供了如下技术方案：一种基于深度强化学习的多模型目标状态预测方法，包括如下步骤：

步骤1，获取环境数据和定义深度强化学习环境状态，其中定义环境为：环境中各个目标的历史状态信息，包括目标的历史位置信息、目标的历史形状信息、目标的历史朝向信息、目标的历史速度信息、目标历史横摆角信息；

步骤2，以每预测方法作为深度强化学习的智能体，以每种方法的权重为智能体的行为模型，构建深度强化中多模型目标状态预测模型；

步骤3，定义多模型轨迹预测奖励模型，该奖励模型主要是给出每个智能体在优化预测权重过程中给出的效益函数；

步骤4，对步骤2中获得的预测模型采用离线初学习以及在线实时学习更新。