[发明专利]基于视频和声音数据融合的打架行为检测方法

说明书

基于视频和声音数据融合的打架行为检测方法，训练步骤包括：(11)选择处理声音片段和视频片段的深度网络结构netA和netV；(12)采集视频片段及时间同步的声音片段构成训练集；(13)将视频片段和语音片段分别预处理后传入netV和netA，各自经过全连接层fcV和fcA；(14)加权拼接fcV和fcA得到FC1；(15)FC1经全连接层FC2、FC3前向传播到达分类层CL；(16)计算分类损失用反向传播法得到深度神经网络层netA、netV、fcA、fcV、FC2和FC3的参数；预测步骤包括：(21)采集视频片段及时间同步的声音片段；(22)与步骤(13)相同；(23)与步骤(14)相同；(24)与步骤(15)相同；(25)根据CL层两个神经元数值的大小关系判定是否有打架行为发生。

技术领域

本发明涉及异常行为识别技术领域，特别是涉及一种基于视频和声音数据融合的打架行为检测方法。

背景技术

现有的人群异常行为分析方法主要是基于单目摄像机视频前后帧的前景的活动范围、图像序列之间光流场的大小、方向来表针运动的剧烈和混乱程度进而进行判断；或者基于双目相机获取深度信息，利用深度信息进行背景建模，进而根据二维光流场的混乱程度和速度指标进行打架行为判断；又或者利用深度信息制定运动剧烈程度的评价策略，根据不同深度信息给出对应的二维光流的分析判断第一阈值，仍然是根据图像的二维光流矢量场对打架行为分析。在有些情况下，如群体舞蹈场景，单纯使用图像或视频信息容易产生误判，基于图像/视频的打架斗殴行为检测方法准确率有待进一步提升。

发明内容

本发明要解决基于单信息源的打架行为检测方法准确度不高的问题，提供一种基于视频和声音数据融合的打架行为检测方法，将两种数据在一个深度神经网络中处理，用以提高打架行为检测的准确度。

本发明的基于视频和声音数据融合的打架行为检测方法，包括如下步骤：

步骤1.训练过程：

步骤11：选择处理声音片段的深度网络结构netA，选择处理视频片段的深度网络结构netV，设置全连接层fcA、fcV、FC2、FC3的神经元数量K_A、K_V、K₂、K₃。分类层CL的神经元数量固定为2。设置整个网络的损失函数。设置神经网络的学习参数。

步骤12：采集N段视频片段及时间同步的声音片段构成训练集{(V_i,A_i),y_i}_{i＝1,2,…,N}，其中V_i是第i段视频片段，A_i是第i段音频片段，y_i是第i段数据(V_i,A_i)的打架行为标签(用0表示正常行为，1表示打架行为)。将训练数据集按比例分成互不重叠的训练集T和验证集S，训练集T用来执行反向传播过程学习和更新神经网络的参数，验证集S用来评估神经网络的效果。

步骤13：将视频片段V_i经预处理后传入3D卷积神经网络netV，netV连接全连接层fcV；将音频片段A_i经预处理后传入2D卷积神经网络netA，netA连接全连接层fcA。

步骤14：将fcV和fcA拼接，得到K_A+K_V维向量FC1＝[α×fcA,β×fcV]，α和β计算如下：

(S1)当声音片段和视频片段都在时，

(S2)当声音片段缺失时，α＝0，

(S3)当视频片段缺失时，β＝0；

步骤15：FC1经全连接层FC2、FC3前向传播到达分类层CL，根据CL与真实标签y_i计算分类损失；