[发明专利]检测互联网暴力有害场景的多模态视频行为分析方法

权利要求书

1.检测互联网暴力有害场景的多模态视频行为分析方法，其特征在于，包括以下步骤：

步骤一、将表观特征及该表观特征的旋转不变特征同时作为特征描述符进行人物目标检测；

步骤二、将整个人体进行区域划分为n个区域，对相邻区域依次重组，生成不同尺度的人体区域检测模版，对不同尺度的人体区域检测模版分别利用CNN进行神经网络训练，训练过程的输入为不同遮挡程度的人物视频；

步骤三、进行人体目标检测，检测过程抽象地表示为：

通过特征映射函数k将原始视频x映射到特征矩阵M，再通过部件检测器g，计算评分参数s，s记录了根据表观特征获得的每个部件在检测区域存在的概率，通过步骤二训练得到的分层CNN模型f计算场景中的人体各部件可见性参数v并修正评分参数s，最后通过CNN网络中的判别函数判别是否有人体目标存在于检测区域计算检测结果y；

步骤四、以动作特征、场景特征和情绪特征作为LSTM循环神经网络的输入，目标行为词语作为输出，训练LSTM模型，实现对视频中目标行为的初判断，剔除无有害场景的视频，针对存在有害场景的视频执行步骤五的操作；

步骤五、对基础情感词库中的词进行基础分值标注，形成基础情感词词典，提取视频输入弹幕中的基础情感词，并从基础情感词词典中查询其基础分值进行赋值；

步骤六、将基础情感词词典中的情感类别划分为“乐好怒哀惧恶悲”7个维度，每条维度单独计算情感分值；利用以下公式计算每条弹幕的情感数值；

S＝∑a_jQ(b_j×c_j,b)+∑α_i+∑β_m+∑ε_l

其中，j取值1～J，J为情感词总数；b_j为第j个情感词的基础情感分值，由基础情感词词典直接匹配查询，取值范围[0,1]；c_j＝{1，-1}为判断情感词j是否为被动化动词，用于判定情感词的反向情绪；b为弹幕全部情感词、颜文字、谐音词、连续符号的情感分值矩阵；Q函数为互相关函数，用于计算弹幕中的其他情感词b情感倾向的相关程度，a_j为第j个情感词前后的程度副词加权分数，取值范围[0,N]，N可根据实际需求指定，一般不超过10；α_i、β_m、ε_l分别为颜文字、谐音词、连续标点或数字符号三类特殊弹幕的情绪参数，i取值1～I，m取值1～M，l取值1～L，I、M、L分别为所述三种特殊弹幕的出现个数；

步骤七、在计算每条弹幕的情感数值后，采用Isolation Forest方法进行异常点检测，对同一时间段内的所有弹幕情感数值进行聚类，剔除情感数值异常弹幕，对其他正常弹幕的情感数值进行求和，得到整个视频的情绪参数，所述情绪参数为7维情感类别参数向量，其中，分数最高维度即为视频的整体情感倾向，其数值即为最终情感分值；当整个视频出现“怒惧恶”情绪超过视频时长的1/4时，则将该视频进行推荐。

2.如权利要求1所述的检测互联网暴力有害场景的多模态视频行为分析方法，其特征在于，步骤一中，构建表观特征时，选择YUV特征及HOG特征；在构建旋转不变特征时，采用极坐标表示法将图像特征从笛卡尔坐标系变换到极坐标系下，保持特征的空间不变性。

3.如权利要求1所述的检测互联网暴力有害场景的多模态视频行为分析方法，其特征在于，n＝10。

4.如权利要求1所述的检测互联网暴力有害场景的多模态视频行为分析方法，其特征在于，步骤四中，动作特征选取光流特征，场景特征选择DeCAF特征，情绪特征中，人物面部表情识别整体特征采用PCA特征，局部特征采用脸部运动编码分析特征。

5.如权利要求1所述的检测互联网暴力有害场景的多模态视频行为分析方法，其特征在于，步骤五中，对于未记录在基础情感词词典中的词语，进行人工标注后加入基础情感词词典中。