[发明专利]一种短视频检测和多分类方法、装置及存储介质

权利要求书

1.一种短视频检测和多分类方法，其特征在于，所述方法具体包括：

步骤1：接收用户发送的短视频获取请求，采用获取程序以消息队列请求的方式向短视频平台或者短视频网络存储数据库发送短视频获取请求，并接收获取结果；

步骤2：采用短视频编辑软件从所述短视频中分离出短视频的视频图像帧以及该短视频中的语音信息；

在提取视频图像帧之后，还包括执行如下步骤：

步骤2.1：将获取的每个短视频划分为多个片段，从每个片段中提取一个非边缘帧作为视频图像关键帧；

步骤2.2：将提取的多个视频图像关键帧构成该短视频的图像关键帧序列，并作为该短视频的图像帧对应保存到数据库，同时将对应的语音文件也对应保存到数据库，并设置查询索引；

步骤3：执行目标短视频检测和识别，首先判断图像关键帧对应的人脸数量是否满足阈值条件，若是，则利用图像关键帧的多种特征信息判断该短视频是否为目标短视频；

其中，所述利用图像关键帧的多种特征信息判断该短视频是否为目标短视频，具体包括如下过程：

步骤3.1：人体肤色区域检测和肤色特征提取：利用人体肤色统计模型得到人体肤色区域；根据所述肤色区域，从所述肤色区域中提取多个特征值作为特征向量，其中特征值包括：肤色占整个图像的比例、肤色连通区域的个数；最大连通区域占整个图像的比例；

步骤3.2：人体姿态检测和特征提取：计算连续两帧图像的帧差图像，获取运动特征，并且与人体异常姿态特征库进行对比，得到最接近的人体姿态，并且将对应的直方图特征作为人体姿态特征；

其中所述人体异常姿态特征库采用如下方式构建：根据多个目标动作短视频片段样本，计算连续两帧图像相减即得帧差图像，得到运动变化的像素，统计该像素直方图特征，将所述直方图特征构建为目标短视频动作特征库；

步骤3.3：将上述提取的人体肤色区域特征和人体姿态特征进行多特征融合，并利用分类器进行识别，得到该图像关键帧是否为目标的帧图像，并进行0和1的标识；

步骤3.4：对每个短视频的多个图像关键帧执行上述过程，并将识别结果与每个视频对应保存；

步骤3.5：根据短视频的所有图像关键帧的识别结果来最终确定短视频的异常性；

步骤4：对剔除了目标短视频的剩余短视频执行文字信息的识别流程，包括文本区域检测定位和字符识别流程；

其中，所述文本区域检测定位为基于 Gabor 纹理特征和深度学习神经网络的两级文本区域检测定位方式，具体包括：

步骤4.1：对短视频图像关键帧进行网格化处理，具体为使用固定尺寸的网格分割文字子图像，网格的大小取决于对特征图像的细化程度以及计算的实时性要求，采用 N×N 个像素的网格对特征区域进行网格化，每个网格的中心点作为 Gabor 特征的采样点；

步骤4.2：构建Gabor滤波器组，利用不同方向和尺度下的 Gabor 特征来描述图像关键帧中文字区域的方向性纹理，实现文字区域的初步检测；

步骤4.3：将文字区域和非文字区域的 Gabor 特征输入到深度学习神经网络训练文字区域分类器，将上述训练好的分类器用于图像关键帧文本区域的检测；

在检测到文本区域后，对文字区域进行字符识别，并保存为文本信息，其中字符识别方式，具体包括：

步骤4.4：构建基于CRNN结合CTC-loss的文字识别模型，并基于该模型对上述文本区域结果进行文字识别，获取有效的文字信息；

步骤4.5：在得到每个视频的多个图像关键帧的文字识别结果后，将所有识别的文字结果进行去重合并后，作为每个短视频的文本信息，对应保存；

步骤5：构建多领域预警关键词库，该预警关键词库是基于预先采集的多领域语料进行训练得到的，其中多领域关键词库对应多种短视频预警类别；

步骤6：将未检测出文字区域的短视频剔除，对剩余的短视频进行突发预警分类识别，利用基于两级关键词匹配识别算法，即先利用文本关键词分词结果的哈希相似度比对，再利用基于机器学习的关键词语义比对，执行预警短视频分类；

步骤7：对上述分类短视频进行展示。