[发明专利]基于检查站柴油车尾气图像的烟度等级估算方法及设备

权利要求书

1.一种基于检查站柴油车尾气图像的烟度等级估算方法，其特征在于：

包括以下步骤：

S1：将检查站收集视频划分子块，对每个子块进行采样，并依据得到的RGB帧划定残差帧；

S2：对RGB图像和残差帧图像进行预处理；

S3：构建时空交叉网络模型，利用训练数据集和验证数据集对模型进行训练，基于预设损失函数和优化器，微调优化整个网络，直至网络收敛，保存训练好的网络模型参数；

S4：利用训练好的网络模型，对待检测图像进行等级预估。

2.根据权利要求1所述的基于检查站柴油车尾气图像的烟度等级估算方法，其特征在于：所述S1中将检查站收集视频划分子块，对每个子块进行帧采样，并依据得到的RGB帧划定残差帧的具体操作如下：

S11：将监测视频划分为N个大小的子块，在每一个子块中抽取一个RGB帧，每一帧记为Frame_i,i＝N,C,T,H,W是图像通道数、时间长度、宽度和高度；

S12：根据S11抽取的RGB帧，依据以下公式划分残差帧ResFrame：

其中α为常系数，β为防止残差帧大小溢出所设置像素值大小，C,T,H,W，是图像通道数、时间长度、宽度和高度；

S13：将得到的图像按7：2：1的比例随机划分为训练集、验证集和测试集。

3.根据权利要求2所述的基于检查站柴油车尾气图像的烟度等级估算方法，其特征在于：所述S2中对RGB图像和残差帧图像进行预处理的具体操作如下：

S21：对RGB图像和残差帧图像，进行简单缩放、随机裁剪、水平翻转、透视变换、区域擦除和颜色抖动。

4.根据权利要求3所述的基于检查站柴油车尾气图像的烟度等级估算方法，其特征在于：所述S3中构建时空交叉网络模型，利用训练数据集和验证数据集对模型进行训练，基于预设损失函数和优化器，微调优化整个网络，直至网络收敛，保存训练好的网络模型参数的具体操作如下：

S31：整个网络模型时域和空域结构一致，主体都采用SE-ResNeXt-50提取时空特征；其中网络结构包含4个卷积残差块{res1,res2,res3,res4}，他们的输出相对于输入帧的stride为{4,8,16,32}；中括号外为每个残差块的重复次数，在ResNeXt-50的基础上，在时域和空域的残差阶段选择res1、res2、res3的最后一层的输出恒等映射来构建双金字塔特征网络，促使时域和空域两个网络相互引导，res4输出的特征图融合用于最终的分类头预测；特征融合是空域特征和时域特征对应元素相加，具体操作描述为：

其中1≤i≤H,1≤j≤W,1≤c≤C，

S32：整个网络架构具体包含一层7*7的卷积层(conv1)，一层3×3的池化层(pool1)，三个包含三层卷积层的卷积块(res1)，四个包含三层卷积层的卷积块(res2)，6个包含三层卷积层的卷积块(res3)，三个包含三层卷积层的卷积块(res4)，其中每个卷积块所包含的三层卷积层的卷积核大小均为1×1、3×3、和1×1,在模块堆叠后，加入特征融合层、自适应平均池化层和全连接层，其中特征融合层和自适应平均池化层的卷积核大小为1×1；

S33：整个网络模型时域流部分以残差帧作为输入，空域部分以RGB帧作为输入，将训练集和验证集输入网络，选择Relu为激活函数，损失函数为交叉熵损失函数，批量大小设置为3，权重衰减设置为0.0005，动量设置为0.9，学习率为0.001，使用随机梯度下降来优化模型权重，待网络收敛，停止迭代，保存整个网络模型。

5.根据权利要求4所述的基于检查站柴油车尾气图像的烟度等级估算方法，其特征在于：所述S4中利用训练好的网络模型，对待检测图像进行等级预估的具体操作如下：

S41：将测试集输入到S3中训练好的烟度估计模型，得到相应烟度等级。