[发明专利]一种视频流烟雾检测火灾预警系统

权利要求书

1.一种视频流烟雾检测火灾预警系统，其特征在于，包括4个部分：(1)暗黑通道去霾预处理；(2)动态最优帧模块；(3)致密光流模块；(4)时空分割网络；第2个模块可分成关键帧选择模块和自动遮罩生成模块；第4个模块集成了2/3两个模块的输出。

2.如权利要求1所述的一种视频流烟雾检测火灾预警系统，其特征在于，去霾预处理：尘霾会混淆着烟雾，使烟雾不明显；室外的视频往往有尘霾，因此在检测前我们采用暗黑通道去除视频帧中的尘霾；暗黑通道理论认为，在室外图像的统计规律中，图像中不包括天空的区域，总是在其中某个通道具有低强度；以x为坐标的图像暗通道定义为：Jdark(x)＝miny∈Ω(x)(minc∈{r，g，b}Jc(y))其中Jc是RGB通道的强度，Ω(x)是x所在块；从数学上讲，有霾图像可以定义为I(x)＝J(x)t(x)+A(1-t(x))其中I、J和A分别表示有霾图像、无霾图像和光照，t(x)表示透光率，取决于场景深度和大气散射系数两个因素；为了提取无霾图像，我们需要计算先验的暗黑通道、光照和迭代优化过的透光率；我们在尺寸为15的块上计算以x为中心的先验暗黑通道；透光率初始值采用0.05×Jdark(x)然后采用拉普拉斯矩阵和稀疏线性系统计算的软抠图迭代优化计算。暗黑通道中最亮的0.1％像素的平均值用于计算光照。

3.如权利要求1所述的一种视频流烟雾检测火灾预警系统，其特征在于，关键帧模块：时空分割网络需要两个带标注的帧，这有助于根据特定场景微调已经训练好的模型。这主要由两个模块完成：关键帧选择模块(φS)，自动标注工具(φA)；关键帧选择模块φS：可以使用视频的前两帧，或者特定编号的帧进行标注。我们采用特定编号的帧进行自动标注；采用基于深度学习的气泡排序网络比较每帧，根据性能排序。排序网络基于ResNet-50，将输入信息处理为四个完全连接的层，其中包括下行神经元和预测层，输出给出了相对性能预测和下一个模块评估；标注损失包括交并比(IOU)和轮廓精度(C)。IOU为预测烟雾及标注烟雾的交集在两者并集的比，C为预测烟雾的闭合轮廓及标注烟雾的闭合轮廓两者的差异；标注损失表示为：yi:＝1/n∑k＝1nIOUk+Ck在对第i帧进行标注之后，第k帧上的性能由IOUk+Ck给出，yi给出了第i帧的标签；自动遮罩注释工具：时空分割网络需要两个带注释的帧来预测整个视频的分割。如上所述，我们还需要选择一个能提高精度的特定帧。我们采用基于区域的卷积神经网络(Mask RCNN)作为自动标注工具。Mask R-CNN是快速R-CNN框架的扩展，是分割的基准网络。除了边界框，Mask R-CNN还提供像素级分割。每个感兴趣区域(ROI)的输出不是转换为向量，而是提供像素级标注保留空间位置。因此，在ROIPool中，来自区域建议网络(RPN)的输入用于拟合特征图，从而导致错位。在Mask RCNN中，RoAlign接受建议区域并将其拆分为多个bin。双线性插值用于查找每个bin中采样点的值。RPN的目标是通过扫描定位点进行检测来找到图像中的对象；对于训练时的每个采样感兴趣区域，多任务损失如下所示：L＝Lcls+Lbox+Lmask其中Lcls是分类损失，Lbox是边界框损失，Lmask是二分类交叉熵平均损失。标注分支预测每个类的分割图像。

4.如权利要求1所述的一种视频流烟雾检测火灾预警系统，其特征在于，致密光流模块：光流提供垂直和水平方向的梯度；采用有利于视频对象分割的致密光流(φDO)来计算时间特征；与其他光流技术相比，致密光流的计算成本更低；我们使用致密光流提供了帧中所有像素的流向量；由于目的是提供尽可能精确的检测，忽略致密光流产生的计算成本。

5.如权利要求1所述的一种视频流烟雾检测火灾预警系统，其特征在于，时空分割网络：时空分割网络(φST)是一个完全卷积网络，共接收两个关键帧、相应的标注以及光流图像等五个输入，输出整个视频的烟雾分割图像；为了检测烟雾的准确位置并可视化其运动，我们使用分割网络逐像素识别局部烟雾；我们采用半监督单一样本在线学习的视频对象分割方法OSVOS。OSVOS根据标注帧提供的样本，从背景中分割前景对象；OSVOS一种五级VGG网络，每层包括卷积和校正线性单元(ReLU)，可根据需要进行上采样和下采样。最后，我们将特征与输入图像线性融合得到输出。我们使用交叉熵作为分割网络的二分类损失：X输入，Z表示可训练参数，yj表示二分类标签，ip和in分别为负标签和正标签；单一样本视频对象分割使用离线和在线训练，模型从学习一般对象分割迁移到特定对象分割。我们创建通用模型来学习不同烟雾的通用特征，应用于烟雾检测时，可以对特定场景进行微调。这样做的好处是烟的形态不同，在不同的视频中看起来不一样。因此，微调为探测烟雾提供了额外的优势。