[发明专利]基于特征时序相关性的自动驾驶视觉感知优化方法

权利要求书

1.一种基于特征时序相关性的自动驾驶视觉感知优化方法，其特征在于包括深度卷积神经网络检测架构改进方法、目标检测训练数据库改进方法和离线训练过程改进方法：

所述的深度卷积神经网络检测架构改进方法为：在已有深度神经网络检测架构主干框架下，添加特征时序相关性分支，基于级联卷积特征，通过通道级联将不同尺度对应的特征通道融合，利用检测分支输出目标结果，提取目标特征所对应特征描述，计算相邻时序该目标特征的自相关性，最终输出使得检测目标时序自相关性最大的目标偏移量补偿；

所述的目标检测训练数据库改进方法包括如下步骤：时序样本增广；时序新增样本自动预标和时序新增样本人工校验；

所述的离线训练过程改进方法包括：目标检测分支损失函数改进、目标时序偏移损失函数新增和在线数据增广修改。

2.根据权利要求1所述的基于特征时序相关性的自动驾驶视觉感知优化方法，其特征在于所述的目标检测训练数据库改进方法包括如下步骤：

①时序样本增广：添加时序相关性样本，即将原始训练数据按其文件名与帧序号搜索原始视频内容扩充至包含若干相邻帧数据；

②时序新增样本自动预标注：利用跟踪算法，基于原有训练样本标签对新增训练样本进行预标注，即以原有标签为检测算法输入，将跟踪算法输出的更新后目标位置作为新增训练样本对应标签；

③时序新增样本人工校验：将步骤②中的新增样本所生成的预标注标签经人工校验，生成最终增广后的训练数据库。

3.根据权利要求1所述的基于特征时序相关性的自动驾驶视觉感知优化方法，其特征在于所述的目标检测分支损失函数改进方法为：

新增时序相关性损失函数L_corr如下：

L_corr＝αL_ctr+βL_ftr；

其中,L_ctr为分类时序一致性损失，定义为目标特征预测的时序一致性，即

L_ftr为位置回归时序一致性损失，定义为目标特征图谱的时序自相关性，即

目标检测分支损失函数L_i为：

L_i＝k₁L_corr+k₂L_cls+k₃L_reg，

其中，L_cls为目标分类损失，可采用softmaxLoss或focalLoss损失函数；

L_reg为目标位置回归损失，可采用smoothL1Loss或L2Loss损失函数；

k₁、k₂、k₃是目标检测分支损失函数各组成部分相应的权重系数。

4.根据权利要求3所述的基于特征时序相关性的自动驾驶视觉感知优化方法，其特征在于所述的目标时序偏移损失函数新增方法为：

定义目标偏移损失函数L_sft：

上式中对中心和2D框尺寸信息分别求取loss并求和；

是网络预测偏移量，是标号给出的偏移量，x、y、w、h分别为目标在图像坐标系中的左上角点横、纵坐标以及宽、高；

训练总损失函数L为：L＝ΣL_i+L_sft,i＝1,2。

5.根据权利要求1或3或4所述的基于特征时序相关性的自动驾驶视觉感知优化方法，其特征在于所述的在线数据增广修改方法为：所使用数据库的最小训练单元为5帧时序连续图像，每次随机选取该时序数据中的2张进行训练，训练样本的几何增广方式不需完全保持一致，但需将相应几何变化所造成的目标位置标签进行更新。

6.根据权利要求1所述的基于特征时序相关性的自动驾驶视觉感知优化方法，其特征在于包括在线推理过程改进方法：若前端平台性能裕度不足，即延用原始检测框架，不添加目标时序偏移输出分支，使用离线训练过程改进方法中训练所得的网络权重系数；若前端平台性能尚有空闲算力，可按预先设定规则，视空余算力对优先级较高的N个目标进行时序偏移计算，并与当前帧目标检测结果融合。