[发明专利]基于多模态信息的视频内容审查系统及方法

权利要求书

1.一种基于多模态信息的视频内容审查方法，包括内容审查步骤和质量审查步骤，其特征在于，所述内容审查步骤包括：

对视频进行预处理，提取视频中的关键帧和关键片段；

搜索内容数据库对所述关键帧进行匹配，而对于关键片段，并行进行台标、人脸、文字、标语、旗帜的图像识别和匹配；

台标识别和匹配包括以下步骤：

构建台标样本库；

提取待测台标的颜色特征，确定其主颜色的参数范围与面积比例；

通过颜色匹配算法，在视频帧中搜索与待测台标颜色组成相同的区域，从而得到待测台标可能出现的待测区域；

提取待测区域中的梯度直方图特征，判断是否存在待测台标；

旗帜识别和匹配包括以下步骤：

采集样本集；

对样本图片进行预处理，包括分割图像，获取图像色彩值的范围；

对图像进行腐蚀、膨胀、分割和形状分析，将无关区域去除，留下旗帜的区域图片。

2.如权利要求1所述的基于多模态信息的视频内容审查方法，其特征在于，所述人脸识别包括以下步骤：

构建边缘人脸；

提取互补特征；

采用并行识别网络进行人脸识别。

3.如权利要求1所述的基于多模态信息的视频内容审查方法，其特征在于，内容审查步骤还包括以下步骤：

将关键帧和关键片段的匹配结果合并，并且标示出带有敏感内容的关键帧和关键片段在视频中的位置以及敏感内容的类别；

对敏感内容进行复查，并且将复查的结果反馈至所述内容数据库，内容数据库对敏感内容进行更新。

4.如权利要求1所述的基于多模态信息的视频内容审查方法，其特征在于，质量审查步骤包括：

检测有方块形状边沿的图像区域，利用视频帧前处理、模板匹配、空间投票方法，检测视频中的马赛克区域；

对视频的帧进行区域分割和色彩识别，检测视频中的黑场、彩条和其他颜色彩屏；

检测视频中超过一定时长的静音内容，并标明静音内容的位置和时长。

5.一种基于多模态信息的视频内容审查系统，包括内容审查子系统和质量审查子系统，其特征在于，所述内容审查子系统包括：

预处理模块、多模态匹配模块、内容数据库；

其中，多模态匹配模块包括台标识别匹配单元和旗帜识别匹配单元；

所述预处理模块对视频进行预处理，提取视频中的关键帧和关键片段；

所述多模态匹配模块搜索内容数据库并对所述关键帧进行匹配，而对于关键片段，多模态匹配模块内并行进行台标、人脸、文字、标语、旗帜的图像识别和匹配；

所述台标识别匹配单元首先构建台标样本库；其次提取待测台标的颜色特征，确定其主颜色的参数范围与面积比例，再次通过颜色匹配算法，在视频帧中搜索与待测台标颜色组成相同的区域，从而得到待测台标可能出现的待测区域，最后提取待测区域中的梯度直方图特征，判断是否存在待测台标；

所述旗帜识别匹配单元首先采集样本集，其次对样本图片进行预处理， 包括分割图像，获取图像色彩值的范围，最后对图像进行腐蚀、膨胀、分割和形状分析，将无关区域去除，留下旗帜的区域图片。

6.如权利要求5所述的基于多模态信息的视频内容审查系统，其特征在于，所述多模态匹配模块还包括人脸识别单元，所述人脸识别单元首先构建边缘人脸，其次提取互补特征，最后采用并行识别网络进行人脸识别。

7.如权利要求5所述的基于多模态信息的视频内容审查系统，其特征在于，所述内容审查系统还包括：

协同判定模块，将关键帧和关键片段的匹配结果合并，并且标示出带有敏感内容的关键帧和关键片段在视频中的位置以及敏感内容的类别；

外部审查接口，对敏感内容进行复查，并且将复查的结果反馈至所述内容数据库，内容数据库对敏感内容进行更新。

8.如权利要求5所述的基于多模态信息的视频内容审查系统，其特征在于，所述质量审查系统包括马赛克检测模块、色彩检测模块、声音检测模块；

所述马赛克检测模块检测有方块形状边沿的图像区域，利用视频帧前处理、模板匹配、空间投票方法，检测视频中的马赛克区域；

所述色彩检测模块对视频的帧进行区域分割和色彩识别，检测视频中的黑场、彩条和其他颜色彩屏；

所述声音检测模块检测视频中超过一定时长的静音内容，并标明静音内容的位置和时长。