[发明专利]基于稀疏子空间聚类的视频人体行为识别方法

说明书

该发明属于计算机视觉模式识别和视频图像处理方法，包括：建立视频人体行为识别的模型中的建立三维时空子帧立方体，建立人体行为特征空间，聚类处理，标签的更新，建立视频人体行为识别模型及人体行为的识别中的从监视视频中提取三维时空子帧立方体，人体行为特征提取，确定各视频人体子行为的类别，带子类别标签视频的归类合并；与目前国际上对Hollywood2人体行为数据库最高识别准确率相比提高了16.5％。因而该发明具有能自动提取出更具有判别性、自适应性、通用性和不变性的人体行为特征，降低了神经网络中的过拟合现象和梯度扩散问题，有效提高了复杂环境下人体行为识别的准确率，可广泛运用于现场视频监控和视频内容检索等特点。

技术领域

本发明属于计算机视觉模式识别和视频图像处理方法，特别是一种采用稀疏子空间(SSC)聚类、细分及将层数较多的基于深度学习的神经网络，拆分为几个层数较少的较浅的基于深度学习的神经网络的视频行为识别方法。

背景技术

基于视频的人体行为识别是近几年来计算机视觉领域的热点问题，作为典型的视频理解问题，通过分析视频图像序列中的人体动作特征，识别判定人体行为模式。更具体而言，是从视频图像序列中提取能够描述行为的特征信息，利用机器学习等技术对其进行理解，采用分类器进行分类，以达到识别人体行为的目的。

随着现代信息技术的发展和社会公共安全需求的提高，对日常生活中人体行为的理解已成为日益需求。人体行为识别在智能视频监控、视频内容检索、新型人机交互、虚拟现实、视频编码与传输、游戏控制等多方面具有广阔的应用场景，备受关注。视频人体行为识别包括：基于时空法的人体行为识别、基于序列法的人体行为识别和基于深度学习的人体行为识别三类。

其中：1.基于时空法的人体行为识别，是将3D视频看成由2D图像在时间尺度上排列所形成的立体，并进行时空表示，又包括：基于三维时空的人体行为识别，基于三维时空局部特征的人体行为识别和基于轨迹的人体行为识别；此类方法存在人体行为特征大多是人工手动设计，受设计者经验影响较大，计算量大或自适应性差等缺陷；

2.基于序列的人体行为识别，是对视频的每一帧图像提取特征向量，将相关的特征向量组成特征序列，最终表征该视频的人体行为，在此基础上进行识别分类。常见的方法是基于状态模型序列的人体行为识别，将视频表征为状态序列，对人体静态姿势定义为一个状态，不同的状态之间通过概率相联系，人体连贯的行为可以看作这些静态姿势的不同状态间的迁移；通过此理论，生成概率模型，利用相似度进行识别，隐马尔可夫模型(HiddenMarkov models,HMMs)是此方法的典型代表。

3.基于深度学习的人体行为识别方法，则是借鉴于生物神经学理论，是机器学习中的一个热门新领域，其动机在于建立并模拟人脑神经网络，即模拟人脑的大脑皮层对数据进行层次化解读。近几年来，深度学习已在人体行为识别领域得到广泛应用。该方法从原始数据中直接自动学习获取特征，与传统的特征提取不同，该类特征无需人工手动设计干预，具有较高的自适应性、通用性和不变性(如平移不变性、尺度不变性和旋转不变性)。3D卷积神经网络(3D Convolutional Neural Networks,3D CNNs)是该方法的典型代表，它将传统卷积神经网络从图像2维空间扩展到时域，直接从原始视频序列中自动学习时空特征，取代了传统的时空兴趣点和描述子，能对简单的人体行为如鼓掌、挥手等获得较好的识别率。该方法虽然是目前最流行且有效的人体行为识别方法，但是容易出现神经网络中常存在的过拟合现象；另外随着基于深度学习的神经网络的层数增加，误差反向传播进行参数调优时容易出现梯度扩散问题，影响训练过程，且目前在较复杂场景下(如不同背景、不同镜头角度和不同上下文环境等)的人体行为识别方面效果不佳。