[发明专利]一种网络暴力视频的识别方法

权利要求书

1.一种基于多示例多特征的网络暴力视频识别方法，该方法包括：

步骤1：从视频共享网站上抓取暴力视频与非暴力视频及其评论、简介构建一个视频数据训练集；

步骤2：从训练集的文本信息中提取文本特征组成文本特征向量来训练文本预分类器，该预分类器筛选出候选的暴力视频；

步骤3：采用基于自适应双阈值的镜头分割算法对所述候选的暴力视频的视频片段进行分割，对每一个镜头提取相关的视觉特征、音频特征来表示该镜头，每一个镜头是多示例学习的一个示例，视频片段是一个包括多个示例的包，该包映射到示例空间；

步骤4：使用MILES算法将所述包转化为单示例，包由单示例的特征向量表达，采用该特征向量训练分类器模型，采用该分类器模型对候选暴力视频进行分类；

其中，所提取的视觉特征和音频特征包括：运动强度特征火焰像素的变化速度特征血液像素的变化特征镜头长度L、音频能量音频能量熵I_s和Mel倒谱系数C_n；

其中，步骤4中使用改进的MILES算法进行示例选择，使多示例问题转换为单示例监督学习问题，所述改进的MILES算法，是将每一个包只选择与正包相似度最高的示例，即选择包中最有用的示例来表达；

其中，步骤3中包括：

假如视频段内相邻p帧与q帧之间的帧间差异SD_p，q的均值为μ，方差为σ，则两个阈值可表达为：

T_b＝μ+α₁σ，α₁∈[5，6]

Ts＝μ+α₂σ，α₂∈[2，3]

检测的基本流程如下：

1、假如SD_p，q＞T_b，p帧与q帧之间发生了镜头的切变；

2、假如SD_p，q＜T_b，p帧与q帧之间没有发生镜头变换；

3、假如T_b＞SD_p，q＞T_s，则q帧被标记为起始帧Fs，从该q帧起计算两类不同的帧之间的差异，一类是相邻的帧之间的差异，一类是起始帧和后续帧之间相隔帧之间的帧间差异SD_p，k，当从q帧开始相隔帧之间帧间差异不断增加时，在相邻帧之间的帧间差异大于T_s的前提下，只要相隔帧之间的帧间差异超过T_b时，则镜头发生了渐变切换；当相邻帧之间的帧间差异小于T_s，而累积帧间差SD_p，k小于T_b时，原来标注的起始帧F_s就被放弃；

然后对镜头提取视频特征和音频特征，包括：

1)运动强度：运动向量的大小即运动强度M，公式如下

$M_k\left(i\right)=\sqrt{u^2\left(i\right)+v^2\left(i\right)}$

M_k(i)是镜头第k帧的第i块的运动强度；

$\stackrel{\‾}{M_k}=\frac{1}{n}\underset{i=0}{\overset{n-1}{\Σ}}{M}_k\left(i\right)$

是镜头第k帧的平均运动强度；

$\stackrel{\‾}{M}=\frac{1}{m}\underset{k=0}{\overset{m-1}{\Σ}}\stackrel{\‾}{M_k}$

是含有m帧的镜头的运动强度；

2)火焰：即火焰像素的变化速度

$\stackrel{\‾}{V_f}=\frac{1}{M_f}\underset{i=0}{\overset{M_f-1}{\Σ}}|F_{i+1}-F_i|$

M_f是镜头中含有火焰像素的帧总数，F_i是第i帧含有的火焰像素百分比；

3)血液：

$\stackrel{\‾}{V_b}=\frac{1}{M_b}\underset{i=0}{\overset{M_b-1}{\Σ}}|B_{i+1}-B_i|$

是血液像素变化特征，M_b是镜头中含有血液像素的帧总数，B_i是第i帧含有的血液像素百分比；

4)镜头长度：即帧总数L；

5)音频能量：

$E\left(i\right)=\underset{n=1}{\overset{N}{\Σ}}{x}_i^2\left(n\right)$

x_i(n)是音频信号第n个采样点的值，E(i)是整个音频片段的能量；

$\stackrel{\‾}{E}=\frac{1}{m}\underset{i=1}{\overset{m}{\Σ}}E\left(i\right)$

表示镜头m个音频片段的平均能量强度；

6)音频能量熵：

$I_n=-\underset{i=1}{\overset{J}{\Σ}}{\mathrm{\σ}}_i^2{\log }_2{\mathrm{\σ}}_i^2$

是第i个音频片段的能量强度，I_n是第n个音频帧的能量熵；

$I_s=\underset{n=1,...k}{min}{I}_n$

I_s表示镜头的音频能量熵；

7)Mel倒谱系数，计算过程如下：

(1)对音频信号进行快速傅立叶变换计算；

(2)通过滤波器组滤除杂波；

(3)Mel倒谱系数由离散余弦逆变换获得，计算公式如下：

$C_n=\sqrt{\frac{2}{K}}\underset{K=1}{\overset{K}{\Σ}}\left(\log S_K\right)cos\[n(K-0.5)\mathrm{\π}/K\],n=1,2,...,L$

其中K是三角滤波器的个数，S_K是信号通过第K个三角滤波器后的Mel加权频谱，L是倒频谱的阶数；

在提取以上所述的镜头的视频、音频特征后，镜头x由特征向量表示。