[发明专利]一种基于双流卷积神经网络的行为识别方法及设备

说明书

本申请属于计算机视觉领域，涉及一种基于双流卷积神经网络的特定行为的识别方法及设备，用于复杂背景下特定行为的识别，尤其在包括多种与特定行为的区别微小的应用场景下。该方法的关键之处在于模型训练阶段，其包括：构建双流卷积神经网络模型；以及训练模型，拟合训练数据，利用所述双流卷积神经网络分别获得的空间特征和时间特征，然后将这些特征融合并输入到最后的分类层。因此在识别阶段，将待识别视频输入所述训练后的模型，判断、识别并输出识别结果。该方法准确率高、泛化力强、可扩展性好。

技术领域

本申请属于计算机视觉领域，涉及一种基于双流卷积神经网络的特定行为的识别方法及设备，用于复杂背景下特定行为的识别，尤其在包括多种与特定行为的区别微小的应用场景下。

背景技术

近年来，随着科技水平的逐步提高，人工智能的应用越来越广泛和具体，动作检测、行为识别领域的发展越来越受到关注。视频中的动作的检测和识别具有广泛的应用，例如监控、人机交互和基于特定条件的检索。在工业、医疗、军事和生活等领域均需要使用人体动作检测和识别方法及相应装置来进行模拟训练、监控行为及规范指导。在动作检测和识别领域中，帧级动作检测的质量直接影响视频中的动作检测的质量和识别判断的准确率。尤其是，在有些应用场景中，大量个体的行为相近似，区别之处非常细微，更需要精细地区分是否符合标准行为规范，并做后续的识别和监控。

例如，在物流领域，需要在库房等应用场景中准确快速筛选出是否存在暴利分拣行为，以做到更精确及时的提醒和指导。而现有的暴力分拣行为识别算法主要分为两类：一类是基础传统计算机视觉和机器学习的方法，如多尺度合成算法、支持向量机、K均值聚类算法、小波包分析方法等，这类算法均基于人工设计的特征进行学习，无法从复杂多变的原始监控视频提取到有效的特征，准确率低，泛化力弱，可扩展性差；另一类则基于卷积神经网络的方法，将视频视为连续的多帧图像，视频的特征视为图像特征的相加，虽然可以有效地学习到图像的空间信息，但是破坏了视频中的时序性，无法学习到时序特征，而时序特征对暴力分拣行为的识别至关重要。

因此，现有技术存在的问题在于，常用的机器学习算法均基于人工设计的特征进行学习，无法从复杂多变的原始监控视频提取到有效的特征，准确率低，泛化力弱，可扩展性差等；或者忽略了时序性特征，诸多不足之处，以待改进。

鉴于此，本申请的发明人提出一种基于双流卷积神经网络的行为识别方法、设备及存储介质，适用于复杂的应用场景，尤其适用于在包括多种与特定行为的区别较小的应用场景下某一特定行为的识别，以便于进一步智能指导、规范行为。

该方法，将监控视频转化为数帧有序的图像，然后计算出连续两帧图像之间的光流图；利用两组卷积神经网络，一组输入RGB图像，提取空间特征，而另一组输入光流图，提取时间特征；然后，将两组特征串联起来，进行识别。整个算法不需要对原始图像提前设计人工特征，基于一个端对端的深度神经网络模型可以自主学习，针对性地从原始视频图像和光流图像中提取特定行为(例如，暴力分拣行为)的时间和空间特征，以达到快速识别行为的目的。该方法大幅提高识别效率和准确率。

发明内容

基于上述目的，本发明创新性地提出一种从包括复杂场景的视频流中检测和识别特定行为的方法，该方法采用双流卷积神经网络训练模型，不需要对原始图像人工设计特征，就可以直接深度学习监控视频流，提高了行为或动作识别的效率和准确率，以便于进一步或同步地智能指导、规范行为。

第一方面，本发明提供了一种基于双流卷积神经网络的行为识别方法，所述方法包括：数据准备阶段、模型训练阶段和识别阶段，其中，

数据准备阶段，其包括：

数据收集，其收集原始监控视频；