[发明专利]一种基于TDN的打架斗殴行为检测方法、装置及相关组件

权利要求书

1.一种基于TDN的打架斗殴行为检测方法，其特征在于，包括：

收集多个场景下不同时段的打架斗殴和非打架斗殴的视频数据，对所述视频数据进行分割和抽帧得到图片集，将得到的图片集进行分类且标注，并按比例分为训练集和验证集；

将所述训练集中的数据输入到空间信息增强后的TDN模型中进行训练，得到权重模型并利用所述验证集中的数据对其进行验证；其中，所述TDN模型的空间信息增强过程包括：使用预训练VGG16网络从连续的相邻两个图片中均提取低级空间特征和高级空间特征，并结合相邻两个图片的低级空间特征学习局部空间特征，以及结合相邻两个图片的高级空间特征学习全局空间特征，并结合所述局部空间特征和全局空间特征，得到融合特征；

通过视频流对监控数据进行实时抽帧得到检测图片，使用训练好的权重模型对得到的检测图片进行推理，判断是否存在打架斗殴行为，若是，则触发告警。

2.根据权利要求1所述的基于TDN的打架斗殴行为检测方法，其特征在于，还包括：

将训练好的权重模型部署在云端，实现对多个场景的实时监控。

3.根据权利要求1所述的基于TDN的打架斗殴行为检测方法，其特征在于，所述对所述视频数据进行分割和抽帧得到图片集，将得到的图片集进行分类且标注，并按比例分为训练集和验证集包括：

利用视频分割工具对所述视频数据进行等时间分割得到多个子视频，并对每个所述子视频按指定帧率进行抽帧得到图片集；

对所述图片集中的数据进行标注，得到包含打架斗殴标签和非打架斗殴标签的图片集；

按照预定比例对所述图片集进行划分，得到训练集和验证集。

4.根据权利要求1所述的基于TDN的打架斗殴行为检测方法，其特征在于，所述使用预训练VGG16网络从连续的相邻两个图片中提取高级空间特征和低级空间特征，并结合相邻两个图片的低级空间特征学习局部空间特征，以及结合相邻两个图片的低级空间特征学习全局空间特征，包括：

按如下公式融合相邻两个图片的低级空间特征和高级空间特征：

C_l＝F_l(i)+F_l(i+1)

C_h＝F_h(i)+F_h(i+1)

其中，“+”表示特征图的融合，C_l表示融合后的低级空间特征，F_l(i)表示第i个图片的低级空间特征，F_l(i+1)表示第i+1个图片的低级空间特征，C_h表示融合后的高级空间特征，F_h(i)表示第i个图片的高级空间特征，F_h(i+1)表示第i+1个图片的高级空间特征。

5.根据权利要求4所述的基于TDN的打架斗殴行为检测方法，其特征在于，所述使用预训练VGG16网络从连续的相邻两个图片中提取高级空间特征和低级空间特征，并结合相邻两个图片的低级空间特征学习局部空间特征，以及结合相邻两个图片的高级空间特征学习全局空间特征，还包括：

利用第一WDRB模块学习所述低级空间特征的联合运动信息，并利用第一卷积模块对所述第一WDRB模块的输出进行卷积，输出得到局部空间特征；

利用第二WDRB模块学习所述高级空间特征的联合运动信息，并利用第二卷积模块对所述第二WDRB模块的输出进行卷积，再进行上采样输出得到全局空间特征。

6.根据权利要求1所述的基于TDN的打架斗殴行为检测方法，其特征在于，所述结合所述局部空间特征和全局空间特征，得到融合特征，包括：

按通道拼接的方式对所述局部空间特征和全局空间特征进行融合，得到融合特征；

将所述融合特征与所述TDN模型中的短期网络输出相加。