[发明专利]一种面向电力机房监控的音视频融合检测方法

摘要

本发明公开了一种面向电力机房监控的音视频融合检测方法，检测方法的具体检测步骤为：分为四个步骤；音频、视频数据的特征提取；对于监控区音频，采用梅尔频率倒谱系数对音频异常事件进行检测；以1.8秒为一个单位进行特征选取；对于得到的视频特征向量与音频特征特征向量。本发明的有益效果：能自动对电力机房重点区域进行安全事件检测，整个过程自动完成，无需过多的人工交互；针对电力机房环境嘈杂的情况，能较为准确的检测出异常事件的发生。

主权项

1.一种面向电力机房监控的音视频融合检测方法，其特征在于：所述检测方法的具体检测步骤为：步骤A：视频数据的特征提取，分为A1、A2和A3三个步骤；步骤A1，对于监控区视频，选定视频中待监控的指示灯区域，采用以下滤噪算法公式，对指示灯图像中每个像素点的色彩进行非线性变化，得到滤噪后的指示灯图像；其中，Ir，Ig，Ib分别为原图像的红、绿、蓝三个通道，J为对应位置输出的单通道图像，λ为调节参数；步骤A2，根据步骤A1得到滤噪后的指示灯图像，利用指示灯与背景的自动分割阈值k，对监控区视频中指示灯与背景区域进行二值化，采用以下公式，基于灰度直方图的最大类间方差方法获取监控区视频中指示灯与背景的自动分割阈值，得到指示灯图像；其中，u_t为指示灯背景区域图像的灰度期望；w_i为指示灯图像中所有像素值落在[0，i]范围内概率和；(1‑w_i)为所有像素值落在[i，255]范围内概率和，使除式取最大值的i值为k；步骤A3，对步骤A2中得到的指示灯图像，通过腐蚀膨胀算法和otsu算法将图像进行阈值分割，将图像中残余杂点过滤掉；然后，求滤噪图像中白色区域内每个点到白色区域重心的距离，以最长距离的2.5倍为边长，以白色区域重心为中心，将所得正方形区域作为机房指示灯特征提取的范围；采用局部区域统计直方图，对上述白色区域范围的指示灯图像进行灰度直方图统计，并作为指示灯图像的视频特征；步骤B，对于监控区音频，采用梅尔频率倒谱系数对音频异常事件进行检测，以1.8秒为一个单位进行特征选取，音频MFCC参数提取的帧长为20ms，帧移为10ms，对音频特征以50ms间隔进行抽取，获得72维音频特征向量；步骤C，对于视频特征，以1.8秒为一个单位进行特征选取；将1.8秒内所有指示灯图片的直方图进行平均，得到16维视频特征；然后，将72维音频特征和16维视频特征进行组合，得到88维特征向量；步骤D，对于得到的视频特征向量与音频特征特征向量，采用音视频单通道检测以及特征层融合和决策层融合的融合方法进行比较；其中决策层融合采用“与”决策融合和“或”决策融合两种融合策略：“与”决策融合是指当且仅当音视频分类结果均为正样本即需报警时，融合结果为正；而“或”决策融合是指音视频分类结果中存在正样本时，融合结果即为正。