[发明专利]基于多模态信息的视频内容审查系统及方法

说明书

技术领域

本发明涉及视频内容关系系统及其方法，更具体地说，涉及一种基于多模态信息的视频内容审查系统及方法。

背景技术

视频内容审查是在当今互联网形势下的最要管理手段，尤其是在今后的三网融合之后，面对海量的互联网内容，对于内容的审查是一个严峻的考验。

视频内容是相对比较困难的一类内容审查，其审查难度要高于单纯的文字、图像、声音等，这是由于视频是一系列图像、声音的组合，并且其具有播放时间长、内容多、动态性等特征。

目前，网络视频内容的审查仍然主要依靠人工，技术手段的自动审查主要停留在文字内容，对图像、声音等多媒体、多模态的内容没有较好的解决方案。

发明内容

针对现有技术中存在的视频内容主要依靠人工，没有较好的技术手段进行自动审查的问题，本发明的目的是提供一种基于多模态信息的视频内容审查系统及方法。

为实现上述目的，本发明采用如下技术方案：

一种基于多模态信息的视频内容审查方法，包括内容审查步骤和质量审查步骤，内容审查步骤包括：对视频进行预处理，提取视频中的关键帧和关键片段；搜索内容数据库对关键帧进行匹配，而对于关键片段，并行进行台标、人脸、文字、标语、旗帜的图像识别和匹配；台标识别和匹配 包括以下步骤：构建台标样本库；提取待测台标的颜色特征，确定其主颜色的参数范围与面积比例；通过颜色匹配算法，在视频帧中搜索与待测台标颜色组成相同的区域，从而得到待测台标可能出现的待测区域；提取待测区域中的梯度直方图特征，判断是否存在待测台标；旗帜识别和匹配包括以下步骤：采集样本集；对样本图片进行预处理，包括分割图像，获取图像色彩值的范围；对图像进行腐蚀、膨胀、分割和形状分析，将无关区域去除，留下旗帜的区域图片。

根据本发明的一实施例，人脸识别包括以下步骤：构建边缘人脸；提取互补特征；采用并行识别网络进行人脸识别。

根据本发明的一实施例，内容审查步骤还包括以下步骤：将关键帧和关键片段的匹配结果合并，并且标示出带有敏感内容的关键帧和关键片段在视频中的位置以及敏感内容的类别；对敏感内容进行复查，并且将复查的结果反馈至内容数据库，内容数据库对敏感内容进行更新。

根据本发明的一实施例，质量审查步骤包括：检测有方块形状边沿的图像区域，利用视频帧前处理、模板匹配、空间投票方法，检测视频中的马赛克区域；对视频的帧进行区域分割和色彩识别，检测视频中的黑场、彩条和其他颜色彩屏；检测视频中超过一定时长的静音内容，并标明静音内容的位置和时长。

为实现上述目的，本发明还采用如下技术方案：

一种基于多模态信息的视频内容审查系统，包括内容审查子系统和质量审查子系统，内容审查子系统包括：预处理模块、多模态匹配模块、内容数据库；其中，多模态匹配模块包括台标识别匹配单元和旗帜识别匹配单元；预处理模块对视频进行预处理，提取视频中的关键帧和关键片段；多模态匹配模块搜索内容数据库并对关键帧进行匹配，而对于关键片段，多模态匹配模块内并行进行台标、人脸、文字、标语、旗帜的图像识别和匹配；台标识别匹配单元首先构建台标样本库；其次提取待测台标的颜色特征，确定其主颜色的参数范围与面积比例，再次通过颜色匹配算法，在 视频帧中搜索与待测台标颜色组成相同的区域，从而得到待测台标可能出现的待测区域，最后提取待测区域中的梯度直方图特征，判断是否存在待测台标；旗帜识别匹配单元首先采集样本集，其次对样本图片进行预处理，包括分割图像，获取图像色彩值的范围，最后对图像进行腐蚀、膨胀、分割和形状分析，将无关区域去除，留下旗帜的区域图片。

根据本发明的一实施例，多模态匹配模块还包括人脸识别单元，人脸识别单元首先构建边缘人脸，其次提取互补特征，最后采用并行识别网络进行人脸识别。

根据本发明的一实施例，内容审查系统还包括：协同判定模块，将关键帧和关键片段的匹配结果合并，并且标示出带有敏感内容的关键帧和关键片段在视频中的位置以及敏感内容的类别；外部审查接口，对敏感内容进行复查，并且将复查的结果反馈至内容数据库，内容数据库对敏感内容进行更新。

根据本发明的一实施例，质量审查系统包括马赛克检测模块、色彩检测模块、声音检测模块；马赛克检测模块检测有方块形状边沿的图像区域，利用视频帧前处理、模板匹配、空间投票方法，检测视频中的马赛克区域；色彩检测模块对视频的帧进行区域分割和色彩识别，检测视频中的黑场、彩条和其他颜色彩屏；声音检测模块检测视频中超过一定时长的静音内容，并标明静音内容的位置和时长。