[发明专利]基于单目摄像头的车辆行驶轨迹预测方法

权利要求书

1.一种基于单目摄像头的车辆行驶轨迹预测方法，其特征在于，所述方法通过车载摄像头拍摄的视频对视频中车辆的行驶轨迹进行预测，包括第一步骤与第二步骤；第一步骤是对视频序列中车辆距离拍摄车辆的距离进行检测，并结合搭载摄像头的车辆所在的位置将距离变换为世界坐标系下的位置信息，对视频中的多帧图像进行检测之后，将图像序列中连续的位置信息构成车辆的历史行驶轨迹；第二个步骤是通过车辆的历史行驶轨迹，结合车辆的行驶轨迹预测算法，对车辆的行驶轨迹进行预测；

第一步骤使用车辆距离检测模型，第二步骤使用基于图与交互信息的车辆行驶轨迹预测模型；

所述第一步骤包括子步骤A1与子步骤A2；所述第二步骤包括子步骤A3；

子步骤A1用于数据集生成，包括：

利用argoverse数据集中的3D跟踪部分，构造符合需要的数据集，具体的数据集生成算法如下：

对与一张给定的图像I，与图像对应的点云数据的获取过程可由下式表示：

式中timestamp_I表示图像I的时间戳，timestamp_S表示激光雷达信息的时间戳，满足条件的timestamp_S的激光雷达信息的点云数据即为给定图像I所对应的点云数据，获取到与图像I所对应的点云数据后，通过相机标定算法，利用点云数据中的标记信息对图像中的车辆进行标注；

子步骤A2，训练车辆距离检测模型获取车辆的距离信息序列，包括：S2_1：问题定义

在图像序列中识别车辆的位置信息有如下定义，图像序列的定义表示如下：

I_S＝{I_i|i∈(1，2，.....，T)}，

其中，I_S表示图像序列的集合，I_i表示图像序列中的每一张图像，图像序列中共有T张图像，对于每一张图像中的每一个待检测距离的车辆，均有与之对应的边界框标记，标记信息可由下式表示：

式中B_i表示第i个图像中所有车辆边界框的集合，r，l，b，t分别表示边界框的右边界、左边界、下边界、上边界的坐标，k表示图像中车辆的编号，N表示图像中共有N辆待识别的车辆；图像序列中包含连续的拍摄到的车辆，车辆的位置信息经过检测后，会得到车辆的位置信息序列；

车辆的位置信息序列定义为：D_S＝{D_i|i∈(1，2，.....，T)}，其中，D_S表示图像序列集合所对应的车辆位置信息集合，D_i表示图像序列中每一帧图像所对应图像上所有的车辆的位置信息，D_i中的信息可由下式表示：

上式中在几何上是拍摄车辆与被拍摄车辆的相对位置所构成直角三角形的两直角边；

相机的参数由下式表示：

M＝{f_x，f_y，c_x，c_y}

其中f_x，f_y，c_x，c_y分别表示相机以车道方向为参照的标准直角坐标系x，y方向的焦距以及主点的坐标，其中y方向是沿车道方向，x方向是同车道方向垂直的方向，M是相机参数的集合；通过对单张图像中的车辆进行距离检测，通过完成过程来实现的转换过程；

S2_2：车辆距离检测模型构建

车辆距离检测模型根据网络结构由三个子模块组成：

(1)相机参数与边界框模块，用来粗略地获取被拍摄车辆距离拍摄车辆的距离范围，对于图像中的第k个车辆，使用t_k，b_k，l_k，r_k分别表示车辆边界框的上、下、左、右边界的坐标，f_x，f_y，α_x，c_y表示相机的横、纵焦距参数以及主点坐标，则该相机参数与边界框模块的特征F_p生成过程用下式表示；

(2)光流图生成模块，用来区分运动中的车辆与周围场景的细粒度边界，以及反映车辆自身的尺寸以及其运动状态，为距离预测提供额外的信息支撑；

(3)全局特征生成模块，用于提取整张图像的特征，结合车辆自身的图像特征辅助模型对车辆的距离进行预测；

以上三模块生成的特征图经过拼接后，生成一个完整的包含各个模块信息的特征向量，该特征向量经过一个全连接网络，生成预测的x、y方向的车辆距离；

S2_3：模型设置

在光流图生成模块中，所用到用于提取光流特征的网络层数L设定为6，以共进行6次图像特征提取与光流图生成操作；

在全局特征生成模块，将预训练的Resnet模型的最后一层替换为输出特征长度为2048维的全连接网络；

S2_4：数据集划分

将步骤一中生成的数据集划分为训练集与验证集，其中训练集57个场景，共33346张图像；测试集包含有6个场景，共4482张图像；

S2_5：训练与测试车辆距离检测模型；

子步骤A3，用子步骤A2对车辆距离的检测结果，预测车辆未来行驶轨迹，包括步骤S3-1到步骤S3-3；

S3_1：问题定义

图像序列I_S经过车辆距离检测模块后生成车辆的行驶轨迹距离集合D_S，D_S内所包含的元素是被拍摄的车辆与拍摄车辆的距离信息，车辆的历史行驶轨迹为Traj_S是图与交互信息的车辆行驶轨迹预测模型的输入；拍摄图像的车辆上搭载的定位系统与lMU模块记录了车辆在对应时刻所处的位置以及偏转角度，将拍摄图像的车辆上搭载的定位系统与lMU模块在连续多个时刻记录的车辆位置以及偏转角度序列记为P_S，P_S可由下式表示：

P_S＝{P_i|i∈(1，2，...，N)}

其中，P_i表示拍摄图像的第i帧时拍摄图像的车辆的位置与偏转角度，P_i可由下式表示：

式中，分别表示拍摄车辆以车道方向为参照的在世界坐标系下的横、纵以及垂直于地面的竖直方向上的空间坐标，其中y方向是沿车道方向，×方向是同车道方向垂直的方向，r_i表示车辆的偏转角度；通过如下式所示的过程，得到视频中车辆的历史行驶轨迹X_S，其含义为在连续的-段时刻里，视频中车辆的位置序列：

视频中车辆的历史行驶轨迹X_S中，t时刻，编号为n的车辆在世界坐标系中的位置其中(p_xt,p_yt)为t时刻拍摄图像的车辆的在世界坐标系中的位置，而为t时刻，在几何上是拍摄车辆与编号为n的被拍摄车辆的相对位置所构成直角三角形的两直角边；

得到了视频中车辆的历史行驶轨迹制后，对视频中车辆未来的行驶轨迹Y_S进行预测：

S3_2：数据集划分

采用百度发布的自动驾驶数据集Apolloscape中的轨迹数据，对自动驾驶数据集Apolloscape中的轨迹数据采用8:1:1的比例划分为训练集、测试集、验证集；

S3-3，用子步骤A2对车辆距离的检测结果，训练基于图与交互信息的车辆行驶轨迹预测模型来预测车辆未来行驶轨迹；

从车载摄像头拍摄的视频提取各帧图像，提供给训练好的所述车辆距离检测模型，车辆距离检索模型处理各帧图像的输出被提供给所述基于图与交互信息的车辆行驶轨迹预测模型，所述基于图与交互信息的车辆行驶轨迹预测模型输出视频中车辆未来的行驶轨迹的预测。