[发明专利]一种适于隧道视角受限的目标深度学习视频检测方法

权利要求书

1.一种适于隧道视角受限的目标深度学习视频检测方法，其特征是包括以下步骤：

step1：构建训练数据集：采集隧道内高清摄像头的视频图像，构建带有标注和标签的图片库作为网络模型的训练样本集，标注及标签即目标的目标框；

step2：构建网络模型：以SSD网络为基础构建检测网络，使用融入Mish激活函数和BN层的VGG-16作为检测网络的backbone，使用跃层双向多尺寸特征融合作为检测网络的neck，检测网络的head使用SSD网络的head；

step3：利用step1中的训练集训练step2中的网络模型，训练过程中采用基于目标尺寸大小的自适应在线难分样本发掘，训练获得检测模型；

step4：输入测试样本，通过训练好的检测模型预测出隧道图像中的目标位置及类别。

2.根据权利要求1所述的一种适于隧道视角受限的目标深度学习视频检测方法，其特征是步骤step2具体为：

step2.1：VGG-16中的激活函数配置为Mish函数，并在激活函数与卷积层之间插入BN层；

step2.2：在VGG-16网络后加入5层卷积层，分别得到大小为19*19、10*10、5*5、3*3、1*1的5层特征图；

step2.3：将step2.2中的5层特征图与VGG-16网络的最后一层特征图一起按照尺寸从小到大分别编号为1,2,3,4,5,6；

step2.4：将编号为1的特征图上采样，得到与编号为3的特征图一样大小的上采样图，将上采样图与编号为3的特征图融合，同理，将编号为3的特征图与编号为5的特征图融合，将编号为5的特征图与编号为6的特征图融合；

step2.5：将编号为6的特征图下采样，得到与编号为4的特征图一样大小的下采样图，将下采样图与编号为4的特征图融合，同理，将编号为4的特征图与编号为2的特征图融合，将编号为2的特征图与编号为1的特征图融合；

step2.6：融合过后的6层特征图构成6个尺寸大小不同的预测特征图，组成跃层双向特征融合网络，作为检测网络的neck；

step2.7：使用SSD网络的head作为检测网络的head。

3.根据权利要求1所述的一种适于隧道视角受限的目标深度学习视频检测方法，其特征是step3的难分样本发掘具体为：

step3.1：对训练样本集目标框的宽、高进行K-means聚类，根据聚类结果修改检测网络模型中预选框anchor的尺寸大小；

step3.2：用数据集扩充方法对训练集做数据扩充，数据集扩充方法包括旋转、颜色变换、平移叠加、以及将4张图片分别缩小至四分之一后再拼凑成一整张图片；

step3.3：基于目标尺寸大小的自适应在线难分样本发掘：将扩充后的训练集分batch，对每个batch中所有训练样本求其所有目标框的面积平均值每个预选框的面积S_i除以得到损失放缩比例R_i，每个预选框的损失除以R_i后得到消除目标框面积影响的放缩损失，将所有预选框分为正负样本，分别按照放缩损失从大到小排序，得到正样本数量为m个，对所有正样本的损失计算反向传播，并取排序的前3*m个负样本计算反向传播，再将所有面积大于的负样本记为“大目标”组，剩下的负样本为“小目标”组，每组按照放缩损失排序，各取前m个负样本，共2m个负样本作为难分样本，用于下一个batch继续训练。。

4.根据权利要求1-3任一项所述的一种适于隧道视角受限的目标深度学习视频检测方法，其特征是在Step3的训练中，采用基于目标尺寸的损失函数SIoU：

其中IoU为预选框和目标框的交并比，x、y、w、h分别为预选框的横坐标、纵坐标、宽、高，x^bt、y^bt、w^bt、h^bt分别为预选框的横坐标、纵坐标、宽、高。