[发明专利]多模态并行的视频质量故障检测方法及装置

权利要求书

1.一种多模态并行的视频质量故障检测方法，其特征在于，包括：

步骤一，视频分拆步骤，将输入视频根据系统配置，拆分成N段图像序列和M段声音序列；

步骤二，黑场检测步骤，将画面划分为x*y的小块，计算每小块中所有像素的Y分量的均值，只要存在某一块中所有像素的Y分量均值超过设定的阈值，即认为该帧不为黑场，否则判定为黑场；

步骤三，静帧检测步骤，判断相同或者非常相似的图像帧是否连续累及到一定时间；

步骤四，马赛克检测步骤，通过提取边缘特征，判定是否有马赛克图像；

步骤五，静音检测步骤，计算音频解码后数据在滑动窗口时间内的所有电平值的最大值，判断在连续一段时间内是否低于预先配置的报警阈值；

步骤六，检测结果合并步骤，将上述步骤二至步骤五的检测结果合并。

2.如权利要求1所述的多模态并行的视频质量故障检测方法，其特征在于：

所述黑场检测步骤、静帧检测步骤和马赛克检测步骤分别同时进行。

3.如权利要求1所述的多模态并行的视频质量故障检测方法，其特征在于：

所述视频分拆步骤将声音序列和图像序列在时间轴上进行时间打点，其中声音序列的分段数M小于图像序列的分段数N。

4.如权利要求1所述的多模态并行的视频质量故障检测方法，其特征在于：

所述静帧检测步骤将整个画面分成x*y小块，以每一个小块为检测对象，比较每一个小块的数据之间的差值，根据所述差值来判断图像的前后两帧是否一样。

5.如权利要求1所述的多模态并行的视频质量故障检测方法，其特征在于：

所述马赛克检测步骤对输入的图像帧首先进行X方向和Y方向的Sobel边缘检测，在这两个方向上进行自适应阈值的边缘增强，再对两个方向上的边缘信息进行融合，采用马赛克模板与边缘信息进行比对，最后对该区域的边缘的宽度进行判断，如果超过设定的阈值，即判定为马赛克。

6.如权利要求1所述的多模态并行的视频质量故障检测方法，其特征在于：

所述音频解码后的数据为PCM数据，所述滑动窗口时间为100ms。

7.一种多模态并行的视频质量故障检测装置，其特征在于，包括：

视频分拆模块、黑场检测模块、静帧检测模块、马赛克检测模块、静音检测模块、检测结果合并模块；

所述视频分拆模块将输入视频根据系统配置，拆分成N段图像序列和M段声音序列；

所述黑场检测模块将画面划分为x*y的小块，计算每小块中所有像素的Y分量的均值，只要存在某一块中所有像素的Y分量均值超过设定的阈值，即认为该帧不为黑场，否则判定为黑场；

所述静帧检测模块判断相同或者非常相似的图像帧是否连续累及到一定时间；

所述马赛克检测模块通过提取边缘特征，判定是否有马赛克图像；

所述静音检测模块计算音频解码后数据在滑动窗口时间内的所有电平值的最大值，判断在连续一段时间内是否低于预先配置的报警阈值；

所述检测结果合并模块将所述黑场检测模块、所述静帧检测模块、所述马赛克检测模块、所述静音检测模块的检测结果合并。

8.如权利要求7所述的多模态并行的视频质量故障检测装置，其特征在于：

所述黑场检测模块、静帧检测模块和马赛克检测模块分别同时运行。

9.如权利要求7所述的多模态并行的视频质量故障检测装置，其特征在于：

所述视频分拆模块将声音序列和图像序列在时间轴上进行时间打点，其中声音序列的分段数M小于图像序列的分段数N。

10.如权利要求7所述的多模态并行的视频质量故障检测装置，其特征在于：

所述静帧检测模块将整个画面分成x*y小块，以每一个小块为检测对象，比较每一个小块的数据之间的差值，根据所述差值来判断图像的前后两帧是否一样。

11.如权利要求7所述的多模态并行的视频质量故障检测装置，其特征在于：

所述马赛克检测模块对输入的图像帧首先进行X方向和Y方向的Sobel边缘检测，在这两个方向上进行自适应阈值的边缘增强，再对两个方向上的边缘信息进行融合，采用马赛克模板与边缘信息进行比对，最后对该区域的边缘的宽度进行判断，如果超过设定的阈值，即判定为马赛克。

12.如权利要求7所述的多模态并行的视频质量故障检测装置，其特征在于：

所述音频解码后的数据为PCM数据，所述滑动窗口时间为100ms。