[发明专利]一种基于TDN的打架斗殴行为检测方法、装置及相关组件

说明书

本发明公开了一种基于TDN的打架斗殴行为检测方法、装置及相关组件，涉及视频监控技术领域。该方法包括：收集多个场景下不同时段的打架斗殴和非打架斗殴的视频数据，对视频数据进行分割和抽帧得到图片集，将得到的图片集进行分类且标注，并按比例分为训练集和验证集；将训练集中的数据输入到空间信息增强后的TDN模型中进行训练，得到权重模型并利用验证集中的数据对其进行验证；通过视频流对监控数据进行实时抽帧得到检测图片，使用训练好的权重模型对得到的检测图片进行推理，判断是否存在打架斗殴行为，若是，则触发告警。该方法将训练好的模型部署在云端，实现对多个场景的实时监控，从而自动检测到打架斗殴事件的发生并触发告警。

技术领域

本发明涉及深度学习和计算机视觉技术领域，尤其涉及一种基于TDN的打架斗殴行为检测方法、装置及相关组件。

背景技术

近年来，随着监控系统的普及，监控摄像头几乎遍布物业场景中的各个角落，此举为工作人员监视现场是否出现打架斗殴等危险行为提供了便利，从而使工作人员能够第一时间赶赴现场进行劝阻，在一定程度了保证了社区居民的安居乐业和社会稳定。

然而，在通常情况下需要一到两名工作人员对数十个摄像头画面进行实时观察，判断是否有打架斗殴等危险行为的发生，由于人力资源有限，仅靠人力难以实现24小时不间断的观察多个监控画面，这在一定程度上会部分遗漏社区中打架斗殴事件。

发明内容

本发明实施例提供了一种基于TDN的打架斗殴行为检测方法、装置及相关组件，旨在解决仅靠人力无法全部观察到打架斗殴事件的问题。

第一方面，本发明实施例提供了一种基于TDN的打架斗殴行为检测方法，包括：

收集多个场景下不同时段的打架斗殴和非打架斗殴的视频数据，对所述视频数据进行分割和抽帧得到图片集，将得到的图片集进行分类且标注，并按比例分为训练集和验证集；

将所述训练集中的数据输入到空间信息增强后的TDN模型中进行训练，得到权重模型并利用所述验证集中的数据对其进行验证；其中，所述TDN模型的空间信息增强过程包括：使用预训练VGG16网络从连续的相邻两个图片中提取高级空间特征和低级空间特征，并结合相邻两个图片的低级空间特征学习局部空间特征，以及结合相邻两个图片的高级空间特征学习全局空间特征，并结合所述局部空间特征和全局空间特征，得到融合特征；

通过视频流对监控数据进行实时抽帧得到检测图片，使用训练好的权重模型对得到的检测图片进行推理，判断是否存在打架斗殴行为，若是，则触发告警。

第二方面，本发明实施例提供了一种基于TDN的打架斗殴行为检测装置，其包括：

收集单元，用于收集多个场景下不同时段的打架斗殴和非打架斗殴的视频数据，对所述视频数据进行分割和抽帧得到图片集，将得到的图片集进行分类且标注，并按比例分为训练集和验证集；

训练单元，用于将所述训练集中的数据输入到空间信息增强后的TDN模型中进行训练，得到权重模型并利用所述验证集中的数据对其进行验证；其中，所述TDN模型的空间信息增强过程包括：使用预训练VGG16网络从连续的相邻两个图片中提取高级空间特征和低级空间特征，并结合相邻两个图片的低级空间特征学习局部空间特征，以及结合相邻两个图片的高级空间特征学习全局空间特征，并结合所述局部空间特征和全局空间特征，得到融合特征；

推理单元，用于通过视频流对监控数据进行实时抽帧得到检测图片，使用训练好的权重模型对得到的检测图片进行推理，判断是否存在打架斗殴行为，若是，则触发告警。

第三方面，本发明实施例提供了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的基于TDN的打架斗殴行为检测方法。