[发明专利]一种基于3D关节点序列的人体行为识别方法

说明书

本发明公开一种基于3D关节点序列的行为识别方法，对给定的人体运动序列，包括以下步骤：步骤1、提取基于运动引导的关节点帧内偏移和帧间偏移；步骤2、通过偏移特征集合的聚类中心将其转换为由“视觉单词”组成的码本，并聚集所有的码本与偏移向量的差获得一个高维的特征向量；步骤3、基于融合特征分析模型的监督哈希映射生成哈希编码，并采用K最近邻进行分类。

技术领域

本发明属于计算机视觉和模式识别领域，尤其涉及一种基于3D关节点序列的人体行为识别方法。

背景技术

基于计算机视觉技术的人体行为识别在人类生活的众多领域得到广泛应用，如视频监控、运动检索、人机交互、智能家居以及医疗保健等。传统的基于RGB相机获取视频序列进行行为识别的方法有很多，取得了较好的识别结果，但是基于RGB信息获取的人体行为数据存在多方面的缺陷：1)复杂背景、遮挡、阴影、尺度变化以及不同的光照条件下所获得的行为数据；2)同样的行为数据随投影采样视角的变化呈现出的不确定性；3)不同类行为数据存在视觉相似性的同时，同类行为数据表现出行为主体的多样性。这些固有缺陷限制了基于RGB信息的人体行为识别的性能的进一步提升。

随着科技的发展，传感器技术在过去几年得到迅速的发展，给我们带来了高清的深度相机，例如微软公司的Kinect和华硕公司的Xtion PRO LIVE。这在很大程度上弥补了感知过程中将三维行为信息投影为二维视觉信息时的维度信息缺失。此外相比RGB视觉信息，深度图像可极大地减轻遮挡、复杂背景、光照条件变化所造成的数据缺陷。事实上，基于Kinect的工具包可以实时逐帧输出3D运动人体各关节点的位置。以人体骨架关节点表示的人体行为数据不会受尺度、视角、光照等变化的影响，便于识别。所以基于3D关节点序列进行行为识别成为热点研究方向。

基于人体关节点序列的行为识别方法通常需计算帧间或帧内各关节点之间的偏移作为人体行为的初级特征。目前的大部分方法在此基础上设计人体行为表示模型并面临着两难的选择。一方面保持行为特征的高维度以避免识别精度下降，但这使得识别效率低下。另一方面以先验或后验的方式进行特征降维，以提高计算效率，但行为表示复杂耗时，且精度不能保证。而在特征维度与识别精度折衷的情况下，识别效率的提高非常有限。哈希算法可以通过一组短的二进制编码来编译图像、视频等，从而提高计算效率，并且可以保留原始数据的相似性。对于有关哈希的方法，由于其具有速度快、特征维度低等特点，已经广泛的应用到信息检索、数据压缩、视频追踪等问题中。但是目前基于哈希的方法主要以降低精度为代价提高计算效率，并且在人体行为识别方面的应用目前尚处于起步阶段。

为了解决上述这些问题，本发明提出了一种新的基于3D关节点的行为识别方法。首先我们依据行为运动进行特征简化，提出了一种基于局部聚合的运动学引导的关节点特征表示，然后根据稀疏表示和哈希编码的优势互补提出了一种融合特征分析模型的监督哈希映射，联合学习了哈希函数、稀疏编码和分类器。本发明不仅提高了计算效率，还提高了识别精度。

发明内容

为了能够在行为识别时既提高识别率又提高计算效率，本发明提出了一种新的基于3D关节点序列的行为识别方法。为此，需要解决的关键技术问题包括：基于运动学引导的关节点特征提取及行为表示(LAKS)以较低维度的特征精确表示运动行为；融合特征分析模型的监督哈希映射(SHA)实现精度和效率的双提升。

附图说明

图1深度相机获取的人体关节点的示意图；

图2(a)为五个帧间偏移特征的描述；

图2(b)为四个帧内偏移特征的描述；

图3LAKS和LAKS+SHA在MSR-Action3D数据库上的比较结果；

图4在MSR-Action3D数据库上的组稀疏约束的稀疏表示可视化；

图5在Florence 3D action数据库上的组稀疏约束的稀疏表示可视化；