[发明专利]同类行为多视图间相似度挖掘方法及行为识别方法

摘要

本发明公开了一种同类行为多视图间相似度挖掘方法及行为识别方法，所述行为识别方法基于所述相似度挖掘方法。所述相似度挖掘方法包括：对同类行为不同视图的视频流逐帧计算每帧灰度图像中每个像素点的Hessian矩阵响应的步骤；根据矩阵响应确定特征点的步骤；构建特征点的时空特征描述符、降维后获得姿态描述向量的步骤；以姿态描述向量为底层特征，计算相似度递归图矩阵的步骤；根据递归图矩阵获得递归性描述符的步骤以及对递归性描述符聚类的步骤。本发明通过时空特征点方法实现姿态建模，并通过递归图挖掘多视图间的递归相似度，避免了依赖于背景分割而容易导致人体姿态失真的问题，提高了相似度挖掘的精度及行为识别的鲁棒性。

主权项

1.一种同类行为多视图间相似度挖掘方法，其特征在于，所述方法包括下述步骤：a1、获取同类行为不同视角下的多段视频流，每段视频流对应于一个视角下的视图，对每个视图中的每帧图像作灰度变换，获得多帧灰度图像；a2、逐帧计算每帧灰度图像中每个像素点的Hessian矩阵，对每个Hessian矩阵计算矩阵行列式值的绝对值，作为每个像素点的Hessian矩阵响应；a3、将Hessian矩阵响应与设定响应阈值进行比较，大于设定响应阈值的Hessian矩阵响应对应的像素点作为特征点，获得每个视图中的所有特征点；a4、构建每个特征点的时空特征描述符，将每个视图中每帧图像所包含的所有特征点的时空特征描述符进行降维，获得该帧图像的姿态描述向量；a5、将每个视图内每帧图像的姿态描述向量作为底层特征，根据下式计算相似度递归图矩阵：式中，、为该同类行为下的第个和第个视图，是第个或第个视图内第帧图像和第帧图像的姿态描述向量的自相似度距离、或是第个视图内第帧图像和第个视图内第帧图像的姿态描述向量的互相似度距离，，，为每个视图中所包含的视频帧数；a6、以相似度递归图矩阵中对角线上的每个矩阵元素为圆心，依次划定半径为r的个半圆形邻域；a7、计算每个邻域内所包含的矩阵元素的梯度方向分布向量，作为一个递归性描述符，个半圆形邻域共获得个递归性描述符；a8、按照上述步骤a5至步骤a7依次获得所有相似度递归图矩阵的递归性描述符，所有递归性描述符构成不同视图下该同类行为的相似度特征集； a9、对相似度特征集进行聚类，获得M个相似度特征子集合。