[发明专利]一种基于时空特征融合的实时动作识别方法

说明书

本发明结合深度学习与计算机视觉算法，具体公开了一种基于时空特征融合的实时动作识别方法，该方法包括如下步骤：s1、通过摄像头获取人物动作的视频信息；s2、将获取人物动作的视频信息上传到服务器；s3、对上传的视频进行预处理，进行等间隔的分帧；s4、使用动作检测器，对视频信息进行特征提取，使用时空特征融合方法，对视频信息进行时间域与空间域特征融合，完成特征提取；s5、使用深度学习的方法，对特征进行综合分析，判断目标动作；s6、将结果实时反馈。本发明方法通过使用卷积神经网络对于目标动作中视频信息的分析，使用时空特征融合方法，充分挖掘视频每帧之间的关系特征，实时的检测待检测目标动作。

技术领域

本发明结合深度学习与计算机视觉算法，具体公开了一种基于时空特征融合的实时动作识别方法。

背景技术

随着视频获取设备和网络的发展，从视频信息中分析和理解人体动作变得越来越重要。人体动作识别应用于视频监控、自动视频标签和人机交互等多个领域。动作识别在模式识别当中属于比较困难的识别任务，识别视频中的动作则是其中一个充满挑战而又具有较高实际应用价值的任务。相比图像来说，视频内容和背景更加复杂多变，不同的动作类别之间具有相似性，而相同的类别在不同环境下又有着不同的特点。

根据实现的方法来分类，可以把人体动作识别分为基于单帧图像的动作识别和基于视频的动作识别。相比于基于视频的识别，基于单帧图像的识别优势在于图像更容易获得，可是由于图像没有时间信息识别起来更加困难，并且也更容易出现误判。而基于视频的动作识别能够有效的获取视频中的时间和空间信息，这在很大程度上提高了识别的准确率。现有的人体动作识别方法主要有基于特征提取的动作识别方法和基于深度学习的动作识别方法。传统基于特征提取的动作识别方法主要靠一些经典的人为设计特征来提取运动特征，再由分类器分类或进行模板匹配。人工设计特征数据预处理复杂，而深度学习模型具有自适应学习特征、数据预处理简单等优点。

现在的方法多是通过深度学习的方法进行特征提取，但是采用二维卷积神经网络的方法缺少对时间域特征的提取，采用三维卷积神经网络的方法存在过拟合，参数量过大的问题。

因此，结合深度学习与计算机视觉的方法，构建一种更便利的动作识别方法是非常必要的。

发明内容

本发明的目的在于提出一种基于时空特征融合的实时动作识别方法，其采用如下方案：

一种基于时空特征融合的实时动作识别方法，包括如下步骤：

s1、通过摄像头获取人物动作的视频信息；

s2、将获取人物动作的视频信息上传到服务器；

s3、对上传的视频进行预处理，进行等间隔的分帧；

s4、使用动作检测器，对视频信息进行特征提取，使用时空特征融合方法，对视频信息进行时间域与空间域特征融合，完成特征提取；

s5、使用深度学习的方法，对特征进行综合分析，判断目标动作；

s6、将结果实时反馈。

进一步，上述步骤s1中，通过调整摄像头角度，实时地捕获目标人物的动作特征信息。

进一步，上述步骤s2中，需要将对于s1中获取到的信息每隔一定时间上传到指定的服务器中，分析所处动作状态。

进一步，上述步骤s3中，通过视频分帧技术，根据深度学习算法中时间步长，每秒提取16张视频帧图片。

进一步，上述步骤s4中，完成对于时空特征融合的特征提取。

进一步，数据处理的具体步骤为：

s41、通过动作检测器，在步骤s3的基础上，完成对于每一帧图片目标动作的空间域特征提取工作；