[发明专利]结合颜色、纹理特征的两阶段烟雾识别卷积神经网络

权利要求书

1.一种结合颜色、纹理特征的两阶段烟雾识别卷积神经网络，其特征在于：该卷积神经网络包括颜色通道卷积子网络和纹理卷积子网络，颜色通道卷积子网络在颜色空间操作，抽取烟雾与非烟雾类间差别最大的颜色模式；纹理卷积子网络在纹理空间操作，在颜色通道上抽取形状特征；该卷积神经网络采用GAP+CAM的弱监督训练方式，仅标注图像[烟雾，非烟雾]，将输入图像、颜色通道卷积子网络和纹理卷积子网络的信息池化后拼合起来，在全局池化成45维的向量后，由该向量全连接，判断场景中是否存在烟雾。

2.如权利要求1所述的一种结合颜色、纹理特征的两阶段烟雾识别卷积神经网络，其特征在于：所述颜色通道卷积子网络用于对颜色通道用1×1的卷积核求和，然后进行非线性变换，即：

式中，f_kⁱ为第i层的第k个颜色通道，f_m^i-1为第i-1层的第m个颜色通道，W_k^i-1为i-1层到i层的第k个卷积核，W_km^i-1为第i-1层第m个颜色通道到第i层第k个颜色通道的第k个卷积核的权重，b_k第i-1层的第k个偏置项，g^i-1为第i-1层的非线性激活函数。

3.如权利要求1所述的一种结合颜色、纹理特征的两阶段烟雾识别卷积神经网络，其特征在于：所述纹理卷积子网络总每层实现以下功能，

式中，f_kmⁱ为第i层的第k×m个纹理通道，f_m^i-1为第i-1层的第m个纹理通道，W_km^i-1为i-1层到i层第m个纹理通道的第k个卷积核，b_km第i-1层的第k×m个偏置项，g^i-1为第i-1层的非线性激活函数。

4.如权利要求1所述的一种结合颜色、纹理特征的两阶段烟雾识别卷积神经网络，其特征在于：该卷积神经网络通过以下步骤训练所得：

S1、构建训练数据集并完成数据集的预处理：

训练数据集包括两个子集：一个子集是像素级标签的图像，包括有烟有火的图像、有烟无火的图像、无烟有火的图像、无烟无火的图像；另一个子集是图像级标签，包括有烟有火的图像、有烟无火的图像、无烟有火的图像、无烟无火的图像；每个样本在输入网络训练之前，需进行直方图均衡化和尺寸归一化处理；

S2、训练

训练分三个阶段进行：第一阶段用像素级标签训练颜色通道卷积子网络N1次,第二阶段用像素级标签训练颜色通道卷积子网络和颜色通道卷积子网络、纹理卷积子网络N2次，第三阶段用图像级标签训练整个网络N3次，整个训练按此轮次完成N4轮迭代；具体的：

第一、二阶段训练要使用像素级标签，按像素的特征值计算类别，因此需要在颜色通道卷积子网络、纹理卷积子网络后面插入分类连接层；将颜色通道卷积子网络输出的5个通道用1×1×5×2的卷积成同样大小的2通道图像，再通过softmax非线性函数变换成烟、火的概率；烟、火的损失函数J₁^s、J₁^f分别为：

式中，s/f是分类结果及标签图像中烟、火两个通道，ij是像素坐标，p_ij^s/f是像素p_ij在s或者f通道中的概率，L_ij^s/f是像素p_ij在s或者f通道中的标签，λ₁是加权系数，‖W¹‖₂是颜色通道卷积子网络可训练参数的L2范数；

烟、火的检测精度A₁^s、A₁^f分别为：

式中，N表示图像中像素的数量；

第三阶段采用弱监督的方式用图像级标签训练颜色通道卷积子网络、纹理卷积子网络；将纹理卷积子网络的输出F⁴用1×1×5×2的卷积成同样大小的2通道图像，再通过softmax非线性函数变换成烟、火的概率；然后与按1/16降采样的像素级标签图像求差后累加作为烟、火的损失函数J₂^s、J₂^f：

式中，(s/f)₂是1/16降采样后标签图像中烟、火两个通道，ij是像素坐标，p_ij^(s/f)2是像素pij在s或者f通道中的概率，L_ij^(s/f)2是像素p_ij在s或者f通道中的标签，λ₂是加权系数，‖W²‖₂是颜色通道卷积子网络可训练参数的L2范数。