[发明专利]同类行为多视图间相似度挖掘方法及行为识别方法

说明书

技术领域

本发明属于视图图像处理技术领域，具体地说，是涉及同类行为多视图间相似度挖掘方法及基于该相似度挖掘方法的行为识别方法。

背景技术

视觉识别和理解人类行为仍然是计算机视觉中的一个活跃的研究领域，很好解决这个问题有许多应用潜力，如视频检索、大型视频结构化档案、视频监控、人机交互、手势识别和视频编辑等。近年来，行为理解已有很多不同的方法。由于人体姿态轮廓具有鲜明的语义，可以鲜明地表述行为类别，因此，人体姿态轮廓的时间转化关系常常作为有效的行为描述。在行为识别过程中，同一种行为由于摄像机的方位不同会得到不同的姿态视图。而在实际应用中，常常并不能预先知道摄像相机位置，或者云台上摄像机通常是旋转角度不断变化的，因此，一个可靠和通用的行为识别系统，应该对摄像机参数和不同视图的观察角度具有鲁棒性，也即实现视角无关性的行为识别。

申请号为200910081092.X的中国发明专利，公开了一种基于几何不变量的视角不变的行为识别方法，该方法是在轨迹数据库中选取人体关键运动部位头、手和脚的行为轨迹作为数据对象，运动轨迹由一序列的离散点在时间轴上的位置分布构成。然后，利用具有投影不变性的交比作为不同角度的同类行为的共性构造和计算轨迹点的视角不变量，然后训练支持向量机，进行行为识别。该方法存在着下述缺点：（a）提取关键人体运动部位头、手和脚的行为轨迹，会受到遮挡、光照变化、分割这些部位不准确等因素的干扰，在实际应用中会导致行为方法不具有鲁棒性，错误几率增大；（b）由于实际应用中的干扰，会导致运动部位头、手和脚的“质心”位置错误，导致行为轨迹出现偏差，使得轨迹点的交比计算也会出现较大误差，影响识别精度。

申请号为200810232110.5的中国发明专利，公开了一种视角无关的动作识别方法，该方法按照以下步骤实施：首先同步采集正面、倾斜、侧面３个方向下的人体视频数据，预处理采集到的视频数据得到二值人体轮廓信息，根据３个方向下的二值人体轮廓信息进行人体３维体态的雕刻重建；然后提取人体运动过程的动态部分形成运动动态能量体及３维体态的运动权值模型，采用３维伪Ｚｅｒｎｉｋｅ矩进行比例不变、位移不变、旋转不变的特征描述；最后使用条件随机场为每一个动作建立概率图模型，并进行识别。该识别方法的缺点是：（a）在实际应用中提取二值人体轮廓的方法，会受到遮挡、光照变化等因素的干扰，使得人体轮廓失真；（b）根据正面、倾斜、侧面３个方向下的二值人体轮廓信息进行人体３维体态的雕刻重建时，需要计算三种视图间的对应配点，不仅运算量较大，而且由于对应点特征不突出，易造成匹配错误。

发明内容

本发明的目的之一是提供一种同类行为多视图间相似度挖掘方法，利用时空特征点方法实现姿态建模，并通过递归图挖掘多视图间的递归相似度，避免了依赖于背景分割而容易导致人体姿态失真的问题，提高了相似度挖掘的精度。

为实现上述发明目的，本发明采用下述技术方案予以实现：

一种同类行为多视图间相似度挖掘方法，所述方法包括下述步骤：

a1、获取同类行为不同视角下的多段视频流，每段视频流对应于一个视角下的视图，对每个视图中的每帧图像作灰度变换，获得多帧灰度图像；

a2、逐帧计算每帧灰度图像中每个像素点的Hessian矩阵，对每个Hessian矩阵计算矩阵行列式值的绝对值，作为每个像素点的Hessian矩阵响应；

a3、将Hessian矩阵响应与设定响应阈值进行比较，大于设定响应阈值的Hessian矩阵响应对应的像素点作为特征点，获得每个视图中的所有特征点；

a4、构建每个特征点的时空特征描述符，将每个视图中每帧图像所包含的所有特征点的时空特征描述符进行降维，获得该帧图像的姿态描述向量；

a5、将每个视图内每帧图像的姿态描述向量作为底层特征，根据下式计算相似度递归图矩阵                                               ：

式中，、为该同类行为下的第个和第个视图，是第个或第个视图内第帧图像和第帧图像的姿态描述向量的自相似度距离、或是第个视图内第帧图像和第个视图内第帧图像的姿态描述向量的互相似度距离，，，为每个视图中所包含的视频帧数；

a6、以相似度递归图矩阵中对角线上的每个矩阵元素为圆心，依次划定半径为r的个半圆形邻域； 

a7、计算每个邻域内所包含的矩阵元素的梯度方向分布向量，作为一个递归性描述符，个半圆形邻域共获得个递归性描述符；