[发明专利]基于单目视频的人体上半身三维运动跟踪方法

说明书

【技术领域】

本发明涉及计算机视觉和视频处理领域，特别涉及基于单目视频的人体三维运动姿态恢复方法。

【背景技术】

基于视频的人体三维运动跟踪在人机交互、互动娱乐、智能监控、医疗诊断等领域具有极大的应用价值。不同于双目或多目视频人体运动跟踪，单目视频跟踪只需要一个摄像头进行人体运动捕捉，不需要摄像机标定，因而具有使用方便、应用广泛的特点。

目前，常用的单目视频下的人体三维运动跟踪主要采用基于学习的方法。该方法存在以下缺点：1)采用统计学习需要大量的训练样本，而且恢复的人体姿态不确定性较大。2)统计学习跟踪的效果完全依赖于训练样本，由于人体运动的不确定性，因而由某种样本集训练出来的算法难以适用于所有的人体运动，算法不能泛化。

【发明内容】

鉴于此，本发明的目的在于提供一种简单精确的人体上半身三维运动跟踪方法。本方法首先由匹配sift特征点根据胸部形状不变性计算得到胸部关节在图像上的坐标、可变因子、旋转欧拉角等。然后根据上半身骨骼模型采用层次化的方法求得人体左右上臂及前臂的旋转欧拉角。

为达到上述目的，本发明采用以下技术方案：

1、在初始帧中运动人体处于直立姿态，由手工标定出人体上半身各关节在图像中的位置，得到人体外观模型及各肢体段中的sift特征。

2、在跟踪过程中，得到被跟踪帧与初始帧中的匹配sift特征，根据透视投影模型在骨骼长度不变性约束下建立一个非线性方程组，由该非线性方程组通过数值方法得到胸部关节的三维位置及旋转姿态。

3、根据正向运动学计算得到左右肩关节在图像上的坐标、旋转后在摄像机成像空间下的三维坐标。

4、根据树型深度遍历由匹配到的sift特征采用逆向运动学依次恢复左右上臂、左右前臂的旋转欧拉角。

与现有技术相比，本发明具有以下显著优势：

1、方法简单，不需要进行样本训练，算法易于泛化，能够广泛应用于各种人体运动跟踪。

2、跟踪得到的人体三维运动姿态精度高。由于从二维关节位置恢复三维运动姿态是根据透视投影模型及逆向运动学得到的，算法本身就是成像过程的逆操作，因而跟踪到的人体运动姿态精度较高。

3、该发明对于成像设备没有特别要求(比如有些算法需要摄像机为深度摄像机)，只要有一个webcam就可以进行运动跟踪，能够广泛应用于人机交互、互动娱乐、虚拟现实等领域。

【附图说明】

图1是本发明采用的人体上半身骨骼模型图；

图2是人体上半身跟踪顶层流程图；

图3是人体左右臂跟踪二级流程图；

图4是人体上半身关节及肢体模板手工标定结果示意图；

图5是本发明应用于单目视频人体上半身三维跟踪结果图；

【具体实施方式】

下面结合附图及具体实施方式对本发明作进一步详细描述。

我们将人体上半身看成是一种树型棍状模型，如图1所示该骨骼模型由8个关节点及7个身体段组成，其中J₀为树型结构的根节点，对应人体的胸部关节。模型中的线段(人体骨骼段)长度根据人体测量学得到，为一相对比例长度，在应用中应该根据实际测量值设置。

我们采用的透视投影成像模型如下：