[发明专利]基于Mask R-CNN神经网络的火灾夜间场景复原方法

摘要

本发明涉及一种于Mask R‑CNN模型的火灾夜间场景复原方法，通过训练Mask‑RCNN模型对火焰进行实例分割，将夜晚的起火位置的火焰初期的区域分割出来融合到白天的监控视频上，定位起火的具体位置，在实例分割的后续操作中，利用图像混合叠加算法，将分割出的火焰区域叠加到白天的监控视频图像上，从而实现火灾场景的复原并辅助定位起火位置，为火灾成因认定奠定了坚实的基础。

主权项

1.一种基于Mask R‑CNN神经网络的火灾夜间场景复原方法，利用计算机作为平台，其特征在于，步骤如下：⑴、建立火焰检测样本库：为了使用Mask‑RCNN对火焰区域进行准确的提取分割，采集主要包括夜间各种场景下的火灾监控图片，经过标定处理，作为训练数据集，完成对Mask‑RCNN网络的训练；⑵、图像的预处理：输入需要复原的火灾夜间场景视频帧，对于每一帧图像进行形态学滤波，图像随机翻转，裁剪，像素归一化，图像增强，可以去除噪声和图片尺寸因素的影响，便于网络的训练与推理；⑶、Mask R‑CNN模型训练：Mask R‑CNN 继承于Faster R‑CNN，在Faster R‑CNN上面加了一个Mask Prediction Branch，并且改良了RoI Pooling，提出了RoI Align，是Faster R‑CNN和FCN的结合，同时完成了目标检测、目标分类、像素级目标分割三类任务，Mask R‑CNN训练主要分为两个阶段，第一阶段训练区域生成网络RPN,第二阶段使用RoI Align将RPN层生成的RoI映射feature map对应位置，将映射后的区域生成固定大小的特征图进行分类、坐标回归和输出一个二值Mask，在训练Mask R‑CNN模型时，采用如下的损失函数：L=L_cls+L_box+L_mask其中，L表示总的误差，Lcls代表分类误差，Lbox表示回归误差，Lmask表示分割误差；Lbox和Lmask是对正样本才会起作用的，Mask R‑CNN中的正样本被定义成了与Ground truth的IoU大于0.5的预测框，在mask分支中对每个RoI的输出是K*m*m，表示k个尺寸为m*m的二值mask，k是物体类别数目；Mask R‑CNN没有采用FCN中的Softmaxloss进行分类，而是通过输出K个mask预测图，每一类都输出一个mask，通过逐像素的Sigmoid计算得到，代价函数为Sigmoid对应的交叉熵损失函数，利用Binary Loss代替Multinomial Loss，消除了不同类别的mask之间的竞争，生成了准确的二值mask；⑷、Mask R‑CNN模型推理：将预处理后的夜间监控视频帧输入到训练好的Mask R‑CNN模型中进行推理时，主要分为以下四个步骤：第一步：特征图Feature Map的生成，处理后的图片输入到Mask R‑CNN模型的主干网络ResNeXt‑101+FPN中，产生不同尺寸的Feature Map；第二步：候选区域生成网络RPN，RPN用来生成高质量的火焰候选区域框，它是一个全卷积神经网络，在所有 Feature Map 上通过候选区域生成网络RPN提取火焰候选区域RoI，并对提取出的候选区域进行打分，给出置信度，然后进行非极大值抑制NMS操作，并给出最终的火焰候选区域，与火焰检测网络共享卷积特征；本方法采用 3 种不同大小Anchor，即128×128，256×256，512×512，用 3 种长宽比1 ∶1，1 ∶2，2 ∶1进行缩放滑动窗口，因此共用 9 种类型的 Anchor 对火焰候选区域进行预测，将每个滑动窗口映射成一个低维特征向量，将这些特征作为两个全连接层，即分类层和边界回归层的输入，分类层给出火焰候选区域中的物体是火焰和非火焰的概率，边界回归层给出火焰候选区域的坐标，由于提取的火焰候选区域有很多交叉重叠，因此根据非极大值抑制原则选取前 300 个候选区域框作为最终的火焰候选区域；第三步：RoIAlign操作，RoIAlign使用双线性插值的方法，可以消除在池化操作时的误差，更好的提升分割效果，任意一个火焰候选区域经过ＲoI池化层映射到Feature Map的相应位置上，将Feature Map上的ROI区域进行ROIAlign操作得到固定尺寸的特征图，然后对每个输入的特征图通过全连接层提取一个固定维度的特征向量；第四步：将Feature Map输入到三个同级的输出层，一是Softmax分类层，判断目标是否是火焰；二是边界回归层，实现RoI坐标预测功能；三是Mask生成层，主要是对每一个RoI特征图进行FCN全卷积神经网络操作，得到分割后的火焰前景图像；⑸、火焰前景区域的智能融合：采用智能融合算法，将提取到的夜间火焰前景区域智能融合到白天的监控视频上，从而实现夜间火场景的复原，辅助火调人员分析火灾场景分析。