[发明专利]基于轻量化双帧速率网络异常行为识别方法、装置和系统

说明书

本发明提供一种基于轻量化双帧速率网络的异常行为识别方法、装置和系统，包括：原始视频数据输入轻量化双帧速率卷积神经网络；轻量化双帧速率卷积神经网络的低帧率分支网络捕获原始视频数据的空间语义信息；轻量化双帧速率卷积神经网络的高帧率分支网络捕获原始视频数据的运动信息；使用横向连接将低帧率分支网络和高帧率分支网络的各个阶段进行特征融合；低帧率分支网络和高帧率分支网络各自输出的特征向量进行合并，获得合并特征；将合并特征输入分类器，得到异常行为识别分类结果。本发明两分支网络采用轻量化网络作为基础网络，在保持低帧率分支网络提取空间语义的能力以及高帧率分支网络提取时间语义信息的同时，大大提高了检测效率。

技术领域

本发明涉及深度学习视频行为识别技术领域，具体地，涉及一种基于轻量化双帧速率网络的异常行为识别方法和装置。

背景技术

过去AI必须依靠强大的云端计算能力进行数据分析与算法的运作。随着技术的成熟以及新应用的出现，芯片能力不断提升、边缘计算平台成熟，边缘计算产生原因主要还是云计算的服务不足。云计算大多采用集中式管理的方法，这使云服务创造出较高的经济效益，而在万物互联的背景下，应用服务需要低延时、高可靠性以及数据安全，而传统云计算无法满足这些需求。

随着边缘AI的发展，机器学习预测有一个明显的趋势，即向下移动到更接近用户、不需要网络连接并且可以实时解决复杂问题(例如异常行为检测)的嵌入式硬件。那么设计能够在边缘AI平台上运行的异常行为识别方法也是本发明需要解决的问题。

异常行为识别，是指从监控的视频流中识别出在高层语义理解中超出正常范围的人的行为活动，具体例如：行人在街道上正常行走、站立接打电话等等行为活动，这些行为活动都是正常范围的行为活动；若街道上两人或多人发生肢体冲突等打架行为、或推倒街道上的垃圾桶等等损坏公物行为，或偷窃街道上的汽车、摩托车等等偷窃行为，那么以上行为就被认为是超出正常范围的异常行为，此时需要发出告警信息以便片区管理人员及时制止违法违规行为；若行人正常行走，那么该行为就被认为是没有超出正常范围的正常行为，则无需告警。

目前，深度学习卷积神经网络在人体异常行为识别领域取得了较好的效果，例如，循环神经网络，双流网络和3D卷积神经网络。

基于循环神经网络的方法适用于骨架等简单的序列数据，有人研究了人体骨架的空间表达能力增强方法，将原始骨架关节三维坐标转移到人体坐标系后进行尺度变换，进而输入到改进的残差独立循环神经网络对人体骨架序列行为进行识别，在NTU RGB+D数据集上表现良好，但是提出的网络缺乏空间建模能力。

基于双流网络的方法通过对视频序列中每两帧计算密集光流，得到密集光流的序列；然后对视频图像和密集光流分别训练CNN模型，两个分支的网络分别对动作的类别进行判断；最后直接对两个网络的训练结果进行融合，得到最终的分类结果。有人提出了一种基于双流卷积神经网络的视频异常行为检测方法，该方法分别使用RGB图像与视频帧间的光流信息作为两个网络分支的输入来学习空间信息与时间信息，并使用长短时神经网络来建模长时视频帧间的依赖关系，从而得到最终的行为分类结果，在Shanghai Tech、UCSD Ped1和Pedestrian 2数据集上均取得了较好的识别效果，但是模型提取的时空特征是独立的，容易忽略其内在联系。

基于3D卷积神经网络的方法，由于可以直接从原始视频中提取空间和时间特征，显著提高了动作识别和检测领域的性能。有人在原始I3D的基础上对Inception结构进行改进,利用卷积核替换的原理将原始Inception结构中的卷积核用两级卷积核进行替换。并且借鉴通道混合的思想,将通道混合策略融合到改进的I3D神经网络中，提出一种I3D-shufflenet的新型3D网络模型，虽然该模型速度较快但模型参数呈指数增长。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于轻量化双帧速率网络异常行为识别方法、装置和系统。

根据本发明的第一个方面，提供一种基于轻量化双帧速率网络的异常行为识别方法，包括：