[发明专利]一种基于显著轨迹空间信息的视频人体行为识别方法

说明书

本发明提供一种基于显著轨迹空间信息的视频人体行为识别方法，该方法重新定义了视频中轨迹的显著性，有效地剔除视频中背景和人体非运动部位的轨迹，留下了前景中运动显著性高的轨迹，这些轨迹误差更小，表达能力也更强；另外该方法将不同人体部位的运动部件以及交互物体区分开来，并通过多核学习来利用他们之间的空间和语义关系，提高了算法的识别效果。

技术领域

本发明涉及计算机视觉领域，更具体地，涉及一种基于显著轨迹空间信息的视频人体行为识别方法。

背景技术

随着社会的进步，日常生活中产生的视频信息呈现了爆炸式增长。人们迫切地需要对这些视频内容进行分析，以获取有价值的信息。基于视觉的人体行为识别是视频分析领域的一个重点也是难点，被广泛地应用于智能监控、视频检索以及动画合成等方面。近年来，许多学者对此进行了深入的研究，研究数据集已经从单一监控场景下拍摄的录制视频转移到复杂自然场景下拍摄的生活类视频。由于视频中往往具有阴影和复杂的运动背景，以及会受到摄像头抖动等因素的影响，人体行为识别还具有较大的挑战性。

目前对于视频中的人体行为识别主要采用基于视觉词袋的框架(Bag of VisualWords)，该框架主要包括以下几个步骤：(1)特征提取，从视频中提取富有表达能力的底层特征，目前最常用的特征是时空兴趣点；(2)特征转化，利用视频中的人体姿势，与人交互的物体等中高层视觉线索，将特征提取过程中提取到的底层特征转化为中层或者高层的特征；(3)词典产生，利用产生的词典可以更好的描述局部特征空间；(4)特征编码，利用词典将前面提取到的特征编码成整个视频的表示。最后将视频的表示向量用分类器(如SVM)进行学习分类。

目前，局部特征，如时空兴趣点或者密集轨迹，具有丰富的时空信息，取得了较好的识别效果。这些局部特征通常在整个视频中通过密集采样得到，并且所有得到的轨迹在后续的过程中被视为同等重要。然而，密集轨迹忽略了视频中人体运动区域的检测，在复杂的场景中很容易提取到多余且不准确的轨迹。另外，对于提取到的底层特征，如何有效地利用一直是人体行为识别的难点和热点。因此，要想提高人体行为识别的准确率，就要从研究方法的两大方面出发，即从视频中提取出具有强表现力的特征以及设计出有效的利用这些特征的行为分类算法。

发明内容

本发明提供一种提高识别效果的基于显著轨迹空间信息的视频人体行为识别方法。

为了达到上述技术效果，本发明的技术方案如下：

一种基于显著轨迹空间信息的视频人体行为识别方法，包括以下步骤：

S1：提取视频帧，构建图像金字塔，然后对视频进行超像素分割，在图像金字塔上计算光流，然后利用帧的颜色，空间分布，以及光流的对比性来计算动态和静态显著性，将他们融合为总的显著性；

S2：将轨迹显著性定义为轨迹每点在组合显著性图像中显著性的均值；然后计算自适应阈值，当轨迹显著性小于阈值时，则认为是背景轨迹或者非运动区域的轨迹而予以删除，从而有效提取显著轨迹；

S3：首先对视频的所有显著轨迹进行随机采样，然后对采样得到轨迹利用其空间信息进行AP聚类，得到不定数量的聚类中心，接着用k-means将聚类中心调整为固定的数目C，最后将视频所有的轨迹分类到距离最近的聚类中心去，从而得到了视频的轨迹分类；

S4：对一个视频C个类的轨迹进行编码，得到了C个向量，该向量就是视频的表示。

进一步地，所述步骤S1的过程如下：

S11：对视频帧进行金字塔构建和超像素分割，对于图像金字塔的某一层而言，得到K个超像素；

S12：计算超像素基于颜色对比的显著性：